对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。Agent的使用流程详见下图
前提条件
已具备CDM集群。
新建Agent
1.进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息。
详见下图:配置Agent
- IP地址:配置为源端网络中部署Agent的IP地址。
- 端口:Agent自定义的端口。建议范围:1024~65535。
- 启用压缩:是否对数据使用gzip算法进行压缩传输。
−对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。
−对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。
- 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。
- 限流:设置agent的最大下行速率,默认不限流。
2.单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。
安装并启动Agent
1.在Agent管理页面,找到已成功创建的Agent。如下图所示,下载Agent。
详见下图:下载Agent
2.准备部署Agent的主机。该主机对vCPUs、内存、磁盘等规格无特殊要求,但须满足以下条件:
- 需要已安装64位版本java 8并配置java环境变量。
- 授予Ruby用户(若无Ruby用户则需手动创建)在/tmp目录下的写权限。
3.将下载的Agent压缩包,上传至部署Agent的主机上。
4.解压安装包后执行如下命令安装Agent。
sh sbin/install.sh
5.如果需要通过Agent连接关系数据库,则需要将对应的驱动(参考 管理驱动)上传至Agent安装目录下的/server/jdbc,并修改同目录下properties文件里对应数据库驱动的版本号。
6.安装完成后,执行如下命令启动Agent。
su Ruby
sh sbin/start.sh
7.执行如下命令检查Agent进程是否启动。
ps -ef | grep agent
如果命令执行完成后返回了正在运行的Agent进程,说明Agent进程已启动。
连接Agent
1.在Agent管理页面,找到已成功创建的Agent。如下图所示,连接Agent。
2.Agent连接成功后,即可在创建连接中选择Agent。