支持的源和目标数据库
表支持的数据库
源数据库 | 目标数据库 |
---|---|
本地自建数据库 ECS自建数据库 |
DRDS实例 |
前提条件
- 已登录数据复制服务控制台。
- 满足实时同步支持的数据库类型和版本,详情请参见实时同步。
使用建议
注意
-
DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
-
为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
-
数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
-
基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。
- 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
- 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
- DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
- 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
-
数据对比
建议您结合对比同步项的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
使用须知
在创建同步任务前,请务必阅读以下使用须知。
说明建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。
连接源或目标数据库的帐号密码修改后,请尽快修改连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。
表使用须知
类型名称
使用和操作限制
数据库权限设置
l源数据库端:
− 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT
to drsUser;)权限。 − 全量+增量同步:
12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT
to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$,SET CONTAINER(GRANT SET CONTAINER TO CONTAINER=ALL;)权限。 12c及以上版本PDB数据库同步时,除了需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT
to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$权限,还需要具有CDB的CREATE SESSION,SELECT ANY DICTIONARY,EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SET CONTAINER(GRANT SET CONTAINER TO CONTAINER=ALL;)权限。 11g及以下版本数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT
to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$。 − 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,若只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。
− 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户帐号进行增量同步(system/sys除外),因为该属性的帐号无日志解析权限。
l目标数据库端:提供的目标数据库帐号必须拥有如下权限:SELECT、CREATE、DROP、DELETE、INSERT、UPDATE、ALTER、INDEX、EVENT、RELOAD、CREATE VIEW。
同步对象约束
l增量同步不支持DDL的同步。
l全量阶段不支持bfile,xml、sdo_geometry、urowid、interval(精度大于6位)和自定义类型。
l增量阶段不支持bfile,xml、interval、sdo_geometry、urowid、timestamp(精度大于6位)和自定义类型。
l增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。
l目前只支持同步源库的数据,不支持同步源库表结构及其他数据库对象。
l用户需要在目标库根据源端逻辑库的表结构,自行在目标库创建对应的表结构及索引。未在目标库创建的对象,视为用户不选择这个对象进行同步。
l同步时需要在目标库创建表结构,目标库表结构要包含源库所有列,且主键要一致。
l源库支持to_date和sys_guid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果:
− 默认值函数可能会被置空。
− 创建表失败,导致对象对比不一致或者任务失败。
l如果表中只有LOB字段,可能出现数据不一致性情况。
l如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
l针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。
l不支持默认值含有表达式的函数的表的同步。
l不支持同步源库中的临时表。
源数据库要求
lOracle单行记录不能超过8K(lob、long类型除外,会自动转换成MySQL的text、blob类型),原因是MySQL innodb引擎限制单行大小不能超过8K(text、blob类型除外)。
l不建议以字符串类型作为主键或唯一键,因为Oracle的字符串作为主键、唯一键时区分空格,而MySQL不区分,可能导致数据不一致和死锁问题。
l对于Oracle的binary_float或者binary_double类型,MySQL中不支持设置Nan、Inf、-Inf三种值,DRS默认会将这三种值转为0保存。
lOracle中建议列名不要取名AUTO_PK_ROW_ID,原因是这个列名在MySQL5.7中是保留列名,无法创建出来。
lOracle中number(p, s)字段的精度不要超过p: [1, 38], s:[p-65, min(p, 30)]的精度表示范围。其中,s取值依赖于p的取值变化,即下限为p-65, 上限为p或30中取最小值。例如:当p=1, s的取值范围是[-64, 1]。当p=38, s取值范围是[-27, 30]。
int字段的值不要超过(65,0)的精度表示范围。原因是MySQL数字的表示范围比Oracle小。
l不支持表名包含除下划线外的其他特殊字符的表的同步。
l源数据库中的库名或映射后的名称不允许以ib_logfile开头,也不能为ib_buffer_pool、ib_doublewrite、ibdata1、ibtmp1。
l不支持选择源数据库的空库进行同步。
l目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。
目标数据库要求
l同步前,目标数据库必须存在待同步数据库及表,且库名,表名,列名,索引名、约束名等必须为对应的小写名称。
lDRS同步时会有大量数据写入目标库,目标库max_allowed_packet 参数过小会导致无法写入,建议将目标库max_allowed_packet参数值设置为大于100MB。
l同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
l支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。
− 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。
− 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。
操作限制
l表对象名同步到目标库后会转换成小写,如ABC和abc。因此增量同步阶段,选择的源库表中不能存在表名称字母相同但大小写不同的表,否则,会导致同步失败。
l由于无主键表缺乏行的唯一性标志,网络不稳定时涉及少量重试,表数据存在少量不一致的可能性。
l如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库会出现乱码。
lOracle中表结构同步到DRDS后表的字符集为utf8mb4。
lOracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
lOracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
l对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。
l源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
l若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
l若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。
l数据类型不兼容时,可能引起同步失败。
l当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
l同步过程中,不允许修改、删除连接源和目标数据库的用户的用户名、密码、权限,或修改源和目标数据库的端口号。
l同步过程中,源库不能做DDL变更。
l同步过程中,禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
l同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
l对于同步中的数据库对象,在同步期间,目标库不能进行写入操作,否则会导致数据不一致。
lDRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。
l全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。
l增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
l选择表级对象同步时,增量同步过程中不建议对表进行重命名操作。
l源库的用户对应目标库的数据库。
l源库用户、表结构信息同步至目标库后全部转换为小写。如表Ab及表AB同步至目标库为ab。
l不支持索引组织表的同步。
l同步任务全量阶段开始前,如有长时间未提交的事务,有可能丢失数据。
l任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。