MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。
前提条件
- 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
- 本地MySQL数据库可通过公网访问。如果MySQL服务器是在本地数据中心或第三方云上,需要确保MySQL可以通过公网IP访问,或者是已经建立好了企业内部数据中心到云服务平台的VPN通道或专线。
- 已创建CDM集群。
新建MySQL连接器
1.进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 >连接管理 > 驱动管理”,进入驱动管理页面。
详见下图:上传驱动
2.单击“驱动管理”页面左上角“驱动下载地址”链接下载MySQL的驱动,详情请参见管理驱动章节中的“如何获取驱动”。
3.在“驱动管理”页面中,选择以下方式上传MySQL驱动。
方式一:单击对应驱动名称右侧操作列的“上传”,选择本地已下载的驱动。
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。
4.在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如下图所示。
选择连接器类型
5.连接器类型选择“MySQL”后单击“下一步”,配置MySQL连接的参数,参数如下表所示。
详见下图:创建MySQL连接
MySQL连接参数
参数名 | 说明 | 取值样例 |
---|---|---|
名称 | 输入便于记忆和区分的连接名称。 | mysqllink |
数据库服务器 | MySQL数据库的IP地址或域名。 | 192.168.1.110 |
端口 | MySQL数据库的端口。 | 3306 |
数据库名称 | MySQL数据库的名称。 | sqoop |
用户名 | 拥有MySQL数据库的读、写和删除权限的用户。 | admin |
密码 | 用户的密码。 | - |
使用本地API | 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 | 是 |
使用Agent | 是否选择通过Agent从源端提取数据。 | 是 |
local_infile字符集 | mysql通过local_infile导入数据时,可配置编码格式。 | utf8 |
驱动版本 | 适配mysql的驱动。 | - |
Agent | 单击“选择”,选择连接Agent中已创建的Agent。 | - |
单次请求行数 | 指定每次请求获取的行数。 | 1000 |
单次提交行数 | 支持通过agent从源端提取数据 | 1000 |
连接属性 | 自定义连接属性。 | useCompression=true |
引用符号 | 连接引用表名或列名时的分隔符号。默认为空。 | ' |
单次写入行数 | 指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。 | 100 |
6.单击“保存”回到连接管理界面,完成MySQL连接器的配置。
说明如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。