支持的源和目标数据库

表 支持的数据库

前提条件

• 已登录数据复制服务控制台。
• 满足实时同步支持的数据库类型和版本，详情请参见实时同步。

使用建议

注意

• DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。

• 为保证同步前后数据一致性，确保同步期间目标数据库无业务写入。

• 数据库同步与环境多样性和人为操作均有密切关系，为了确保同步的平顺，建议您在进行正式的数据库同步之前进行一次演练，可以帮助您提前发现问题并解决问题。

• 基于以下原因，建议您在启动任务时选择“稍后启动”功能，将启动时间设置在业务低峰期，相对静止的数据可以有效提升一次性同步成功率，避免同步对业务造成性能影响。

  • 在网络无瓶颈的情况下，全量同步会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU。
  • 同步无主键表时，为了确保数据一致性，会存在3s以内的单表级锁定。
  • 正在同步的数据被其他事务长时间锁死，可能导致读数据超时。
  • 由于MySQL固有特点限制，CPU资源紧张时，存储引擎为Tokudb的表，读取速度可能下降至10%。
  • DRS并发读取数据库，会占用大约6-10个session连接数，需要考虑该连接数对业务的影响。
  • 全量阶段读取表数据时，特别是大表的读取，可能会阻塞业务上对大表的独占锁操作。

• 数据对比

建议您结合对比同步项的“稍后启动”功能，选择业务低峰期进行数据对比，以便得到更为具有参考性的对比结果。由于同步具有轻微的时差，在数据持续操作过程中进行对比任务，可能会出现少量数据不一致对比结果，从而失去参考意义。

使用须知

在创建同步任务前，请务必阅读以下使用须知。

说明
建议创建单独用于DRS任务连接的数据库帐号，避免因为数据库帐号密码修改，导致的任务连接失败。
连接源或目标数据库的帐号密码修改后，请尽快修改连接信息，避免任务连接失败后自动重试，导致数据库帐号被锁定影响使用。

表使用须知

类型名称
使用和操作限制
数据库权限设置
l 源数据库帐号需要具备如下权限：SELECT、SHOW VIEW、EVENT、LOCK TABLES、REPLICATION SLAVE、REPLICATION CLIENT。
l 目标数据库帐号必须具有每张表的如下权限：INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。
同步对象约束
l 支持表、索引、约束（主键、空、非空）的同步，不支持视图、外键、存储过程、触发器、函数、事件、虚拟列、唯一约束、唯一索引的同步。
l 全量同步支持comment，增量不支持。
l 不支持的数据类型有：xml、geometry、point、lineString、polygon、geometrycollection、multipoint、multilinestring、multipolygon。
l 不支持非MyISAM和非InnoDB表的同步。
l 对象名同步到目标库后会转换成小写，因此选择的源库表中不能存在表名称字母相同但大小写不同的表，否则，会导致同步失败。
源数据库要求
l 增量同步时，MySQL源数据库的binlog日志必须打开，且binlog日志格式必须为Row格式。
l 在磁盘空间允许的情况下，建议源数据库binlog保存时间越长越好，建议为3天。设置为0，可能会导致同步失败。
− 源数据库为自建MySQL时，通过设置expire_logs_days参数设置binlog保留时间。建议将expire_logs_day参数设置在合理的范围，确保恢复时断点处的binlog尚未过期，以保证任务中断后的顺利恢复。
− 源数据库为RDS for MySQL时，设置binlog保留时间可参考《RDS用户指南》。
l 源数据库GTID状态必须为开启状态，源数据库实例没有开启GTID的情况下不支持主备倒换，DRS任务会因为位点不续接而中断导致无法恢复。
l 必须设置MySQL源数据库的server－id，server－id的取值范围在2－4294967296之间。
l 源数据库中的库名、表名不能包含：.<'>`/\"以及非ASCII字符。
目标数据库要求
l 目标数据库实例的运行状态必须正常。
l 目标数据库实例必须有足够的磁盘空间。
l 目标数据库的时区设置必须与源数据库一致。
操作须知
l 相互关联的数据对象要确保同时同步，避免因关联对象缺失，导致同步失败。常见的关联关系：索引引用表等。
l 不支持外键级联操作。当外键是普通索引的时候，可能会导致表结构创建失败，建议改成唯一索引。
l 不支持源数据库进行恢复操作。
l 不支持强制清理binlog，否则会导致同步任务失败。
l 源数据库不支持reset master或reset master to命令，可能会导致DRS任务失败或者数据不一致。
l 不建议在数据库中使用非精确数值类型做主键，该特性影响 DRS 增量场景下对 UPDATE、DELETE语句的同步，导致任务失败。
l 如果无主键表中包含大字段（blob、text、clob、nclob、bytea），增量同步阶段存在大字段数据不一致的可能性。
l 源库为RDS for MySQL实例时，不支持带有TDE特性并建立具有加密功能表。
l 源库为RDS for MySQL实例时，支持源端多张表对DWS一张表的映射。详细操作可参考创建MySQL到DWS同步任务。
l 如果源库MySQL不支持TLS1.2协议，或者为版本较低的自建库（低于5.6.46或在5.7.0-5.7.28之间），如果不支持TLS1.2协议，需提交运维申请才能使用SSL测试连接。
l 网络中断在30秒内恢复的，不影响实时同步，如果超过30秒，则会导致同步任务失败。
l MySQL的唯一约束（unique key）在同步到目标DWS后会改写成普通约束，主键（primary key）的同步保持不变。
l 目标数据库与源数据库字符集不一致可能会导致同步后数据不一致或者同步失败。
l 数据类型不兼容时，可能引起同步失败。
l 支持目标数据库中的表比源数据库多列场景，但是需要避免以下场景可能导致的任务失败。
− 目标端多的列要求非空且没有默认值，源端insert数据，同步到目标端后多的列为null，不符合目标端要求。
− 目标端多的列设置固定默认值，且有唯一约束。源端insert多条数据后，同步到目标端后多的列为固定默认值，不符合目标端要求。
l 实时同步过程中，若源库为RDS时，支持修改端口，修改之后同步任务失败，需要通过重试后继续进行同步。
l 实时同步过程中，若源库为非RDS时，不支持修改端口。
l 实时同步过程中，不支持IP、帐号、密码修改。
l DRS全量同步表结构时，源库中char、varchar、nvarchar、enum、set字符类型长度在目标库会按照字节长自动扩大（因为目标库为字节长），扩大倍数和源库中列的字符集有关。如源库字符集为UTF8的按照字节长扩大3倍，为UTF8MB4的按照字节长扩大4倍。
l 增量同步过程中支持DDL操作。
− 一对一的场景下，默认同步的DDL类型有CREATE_TABLE，RENAME_TABLE，ADD_COLUMN，MODIFY_COLUMN，ALTER_COLUMN，CREATE_INDEX，DROP_INDEX，RENAME_INDEX，CHANGE_COLUMN，TRUNCATE_TABLE，DROP_TABLE，客户可以根据自身需求，在对象选择页面选择需要同步的DDL类型。
− 多对一场景下，执行colunm重命名操作，必须停业务操作，不然会有数据不一致的风险。
− 新增和修改表名、列名、索引名时不能超出63字符，否则任务会失败。
− 源库无主键表增加主键的时候，必须含有第一列，否则任务会失败。
l 增量同步过程中，库级同步新建的无主键表必须包含以下列中的其中之一。
INTEGER TYPES: TINYINT、SMALLINT、INT、BIGINT、NUMERIC/DECIMAL；
CHARACTER TYPES: CHAR、BPCHAR、VARCHAR、VARCHAR2、NVARCHAR2；
DATE/TIME TYPES: DATE、TIME、TIMETZ、TIMESTAMP、TIMESTAMPTZ、INTERVAL、SMALLDATETIME；
无主键表会指定可作为分布列的其中一列作为分布列，如果所有列类型都无法作为分布列，会导致建表失败，DRS同步中断。
l 库级同步，在增量同步过程中，不能在源库创建名称字母相同但大小写不同的表，否则会导致其中一张表无法同步。
l 建议将expire_log_day参数设置在合理的范围，确保恢复时断点处的binlog尚未过期，以保证服务中断后的顺利恢复。
l 源端同步的表如果有AUTO_INCREMENT属性，结束任务时，DRS会自动刷新同步表的序列整型列所对应的DWS自增列（sequence）起始值，刷新值为该列的最大值+10000。

操作步骤

本小节以RDS for MySQL到DWS多对一场景的实时同步为示例，介绍如何使用数据复制服务配置实时同步任务。

步骤 1 在“实时同步管理”页面，单击“创建同步任务”。

步骤 2 在“同步实例”页面，填选任务名称、描述、同步实例信息，单击“开始创建”。

• 任务信息

表任务和描述

• 同步实例信息

表同步实例信息

标签

表 标签

说明
对于创建失败的任务，DRS默认保留3天，超过3天将会自动结束任务。

步骤 3 在“源库及目标库”页面，同步实例创建成功后，填选源库信息和目标库信息，单击“源库和目标库”处的“测试连接”，分别测试并确定与源库和目标库连通后，勾选协议，单击“下一步”。

表 源库信息

说明
源数据库的数据库用户名和密码，会被系统加密暂存，直至删除该任务后自动清除。

表目标库信息

步骤 4 在“设置同步”页面，选择同步对象类型和同步对象。单击“下一步”。

表 同步模式和对象

参数
描述
流速模式
流速模式支持限速和不限速，默认为不限速。
l 限速
自定义的最大同步速度，全量同步过程中的同步速度将不会超过该速度。
当流速模式选择了“限速”时，你需要通过流速设置来定时控制同步速度。流速设置通常包括限速时间段和流速大小的设置。默认的限速时间段为“全天限流”，您也可以根据业务需求选择“时段限流”。自定义的时段限流支持最多设置3个定时任务，每个定时任务之间不能存在交叉的时间段，未设定在限速时间段的时间默认为不限速。
流速的大小需要根据业务场景来设置，不能超过9999MB/s。
l 不限速
对同步速度不进行限制，通常会最大化使用源数据库的出口带宽。该流速模式同时会对源数据库造成读消耗，消耗取决于源数据库的出口带宽。比如源数据库的出口带宽为100MB/s，假设高速模式使用了80%带宽，则同步对源数据库将造成80MB/s的读操作IO消耗。
说明
l 限速模式只对全量阶段生效，增量阶段不生效。
l 您也可以在创建任务后修改流速模式。具体方法请参见修改流速模式。
同步对象类型
可选同步表结构、同步数据、同步索引，根据实际需求进行选择要同步内容。
l 同步数据为必选项。
l 选择同步表结构的时候目标库不能有同名的表。
l 不选同步表结构的时候目标库必须有相应的表，且要保证表结构与所选表结构相同。
由于DWS的表结构具有业务逻辑，建议结合业务情况在DWS专家指导下自建表结构，并确保表名、列名、列类型的准确性，否则会出现数据同步失败、数据同步精度丢失等情况。
增量阶段冲突策略
该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。冲突策略目前支持如下形式：
l 忽略
当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将跳过冲突数据，继续进行后续同步。
l 报错
当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），同步任务将失败并立即中止。
l 覆盖
当同步数据与目标数据库已有数据冲突时（主键/唯一键存在重复等），将覆盖原来的冲突数据。
异常数据策略
源和目标数据库的客观差异差异，可能导致部分数据无法写入成功，出现异常数据，请选择出现异常数据时的任务策略。
l 任务继续：不因少量异常数据导致全部数据均停止同步，异常数据发生时将会自动记录脏数据，可在“异常数据”模块查看这部分数据。
l 任务失败：出现异常数据后，任务失败停止。
启动位点
步骤2的同步模式选择“增量”时可见，增量同步的启动位点，任务的源库日志从位点后开始获取（不含当前启动位点）。
通过show master status命令获取源库位点，根据提示分别填写File、Position、Executed_Gtid_Set。
同步对象
左侧框是源数据库对象，右侧框是已经选择的对象，可选表级同步、库级同步，您可以根据业务场景选择对应的数据进行同步。
l 可以使用对象名映射功能进行源数据库和目标数据库中的同步对象映射，实现多张表对一张表的同步，具体操作可参考对象名映射。
− 使用多对一操作时，需要使用数据加工的附加列操作来避免数据冲突。
− 源库和目标库多对一的表的结构要一致。
说明
l 选择数据的时候支持对展开的库搜索，以便您快速选择需要的数据库对象。
l 如果有切换源数据库的操作或源库同步对象变化的情况，请在选择同步对象前单击右上角的，以确保待选择的对象为最新源数据库对象。
l 对象名同步到目标库后会转换成小写，因此选择的源库表中不能存在表名称字母相同但大小写不同的表，否则，会导致同步失败。
l 当对象名称包含空格时，名称前后的空格不显示，中间如有多个空格只显示一个空格。
l 选择的同步对象名称中不能包含空格。
l 选择库级同步时，在增量同步过程中，不能在源库创建名称字母相同但大小写不同的表，否则会导致其中一张表无法同步。
 

步骤 5 在“数据加工”页面，可对需要加工的表对象进行数据过滤或添加附加列，，单击“下一步”。

• 如果需要设置数据过滤，选择“数据过滤”，设置相关过滤规则。
• 如果需要设置添加附加列，选择“附加列”，单击“操作”列的“添加”，选填需要添加的列名和操作类型信息。

相关操作可参考数据加工。

步骤 6 在“预检查”页面，进行同步任务预校验，校验是否可进行实时同步。

• 查看检查结果，如有不通过的检查项，需要修复不通过项后，单击“重新校验”按钮重新进行任务预校验。
• 预检查完成后，且所有检查项结果均通过时，单击“下一步”。

说明
所有检查项结果均通过时，若存在请确认项，需要阅读并确认详情后才可以继续执行下一步操作。

步骤 7 在“任务确认”页面，设置同步任务的启动时间，并确认同步任务信息无误后，单击“启动任务”，提交同步任务。

表任务启动设置

步骤 8 同步任务提交后，您可在“管理”页面，查看并管理自己的任务。

• 您可查看任务提交后的状态，状态请参见任务状态说明。
• 在任务列表的右上角，单击刷新列表，可查看到最新的任务状态。
• 对于未启动、状态为配置中的任务，DRS默认保留3天，超过3天DRS会自动删除后台资源，当前任务状态不变。当用户再次配置时，DRS会重新申请资源。