支持的源和目标数据库
支持的源和目标数据库如下表:
源数据库 | 目标数据库 |
---|---|
RDS for PostgreSQL 自建PostgreSQL 9.4/9.5/9.6/10/11/12/13/14/15 |
RDS for PostgreSQL |
说明
源库为本地自建PostgreSQL数据库时,支持9.4/9.5/9.6/10/11/12/13/14/15版本。
源数据库版本不得高于目标数据库版本。
支持的同步对象及SQL
同步对象
- 结构同步支持的对象:
- 模式、表、索引、约束(外键、唯一、排他)、视图、物化视图、序列、存储过程、函数、规则、触发器、用户自定义类型、域。
- 支持的字段类型:
- 数字类型、货币类型、字符类型、二进制数据类型、日期/时间类型、布尔类型、枚举类型、几何类型、网络地址类型、位串类型、文本搜索类型、UUID类型、XML类型、JSON类型、复合类型、范围类型。
注意事项
- 每次至多同步一个库(database),同步多个库需要创建多个DTS任务。
- 模式:不支持pg_toast,pg_temp_1,pg_toast_temp_1,pg_catalog,information_schema等系统模式的同步。
- 表:不支持临时表的同步,表的索引、约束会一起同步,表的触发器、规则在全量完成之后同步。
- 序列:待同步的表中有引用序列时,必须同时同步相应的序列。
- 映射规则:
- 不包含增量时,可以对库、表、列名进行映射,若对表的列进行映射,则表中涉及到该列的约束将不会同步。
- 包含增量时,不支持对库、表、列名映射。
- 视图、存储过程、函数、域、自定义类型等对象依赖的表不支持做表名映射,否则视图、存储过程、函数将会失效。
- 同步对象中如果存在包含longtext、longblob类型大字段的表,建议创建大规格及以上规格的DTS实例进行同步,否则可能会导致 OOM。
增量数据同步支持的SQL操作
-
DML
INSERT、UPDATE、DELETE。
-
DDL
增量同步的DDL操作仅支持CREATE TABLE、ALTER TABLE、DROP TABLE、CREATE SEQUENCE、ALTER SEQUENCE、DROP SEQUENCE、CREATE VIEW、ALTER VIEW、DROP VIEW、CREATE INDEX、ALTER INDEX、DROP INDEX。
注意
暂不支持 CREATE TABLE 表名 AS SELECT 语句。
RENAME表名之后,向更改名称后的表插入新的数据时,DTS不会同步新的数据到目标库,因可能会导致任务中断异常或数据不一致。
暂不支持以注释开头的DDL语句的同步。
数据库账号及权限
数据库账号及权限如下表:
数据库 接入类型 所需权限 参考赋权语句 源库 云实例 高权限账号 云实例请参考创建账号 自建实例
模式的USAGE权限。
待迁移其他对象的SELECT权限。
待迁移表的SELECT、REFERENCES、TRIGGER权限。
待迁移对象的SELECT权限包含增量时,需具备SUPERUSER权限。
授予user_name用户schema_name模式的usage权限:
GRANT USAGE ON SCHEMA schema_name TO user_name;
授予user_name用户object_name对象的select权限:
GRANT SELECT ON object_name TO user_name;授予user_name用户超级权限:
ALTER USER user_name WITH SUPERUSER;目标库 云实例 高权限账号 云实例请参考创建账号 自建实例
schema的创建权限。
授予用户user_name在数据库database_name下的schema创建权限:
GRANT CREATE ON DATABASE database_name TO user_name;
准备工作
源库为PostgreSQL自建库的情况
针对源库、目标库是自建库的情况,需要进行如下准备工作:
-
登录自建PostgreSQL所属的服务器。
-
修改配置文件postgresql.conf,将配置文件中的wal_level设置为logical。如下图:
-
将DTS的IP地址加入至自建PostgreSQL的配置文件pg_hba.conf中。如下图:
如果您已将信任地址配置为0.0.0.0/0,可跳过本步骤。
-
如果任务包含增量同步,需安装PostgreSQL的逻辑解码器输出插件Decoderbufs,建议安装v2.1.1.Final以上版本,低版本可能会导致PostgreSQL数据库出现coredump,详细的步骤可参考如下内容或PostgreSQL官网文档。
-
请自行前往github仓库获取Decoderbufs插件。
-
进行插件的配置。
-
首先,进行插件的编译。
export PATH=/usr/lib/postgresql/9.6/bin:$PATH make make install
-
其次,在postgresql.conf中配置逻辑复制。
# MODULES shared_preload_libraries = 'decoderbufs' # REPLICATION wal_level = logical # minimal, archive, hot_standby, or logical (change requires restart) max_wal_senders = 8 # max number of walsender processes (change requires restart) wal_keep_segments = 4 # in logfile segments, 16MB each; 0 disables #wal_sender_timeout = 60s # in milliseconds; 0 disables max_replication_slots = 4 # max number of replication slots (change requires restart)
-
然后,重启PostgreSQL。
-
最后,验证配置是否生效。
#创建逻辑复制,使用逻辑复制插件decoderbufs select * from pg_create_logical_replication_slot('decoderbufs_demo', 'decoderbufs'); #对相关表进行数据操作 #使用decoderbufs调试模式 SELECT data FROM pg_logical_slot_peek_changes('decoderbufs_demo', NULL, NULL, 'debug-mode', '1'); #使用decoderbufs获取wal变更,更新wal位置 SELECT data FROM pg_logical_slot_get_changes('decoderbufs_demo', NULL, NULL, 'debug-mode', '1'); #查看逻辑复制的wal位置 SELECT * FROM pg_replication_slots WHERE slot_type = 'logical'; #删除逻辑复制 select pg_drop_replication_slot("decoderbufs_demo");
-
-
数据类型映射说明。
PostgreSQL类型 Decoderbuf字段 BOOLOID datum_boolean INT2OID datum_int32 INT4OID datum_int32 INT8OID datum_int64 OIDOID datum_int64 FLOAT4OID datum_float FLOAT8OID datum_double NUMERICOID datum_double CHAROID datum_string VARCHAROID datum_string BPCHAROID datum_string TEXTOID datum_string JSONOID datum_string XMLOID datum_string UUIDOID datum_string TIMESTAMPOID datum_string TIMESTAMPTZOID datum_string BYTEAOID datum_bytes POINTOID datum_point PostGIS geometry datum_point PostGIS geography datum_point
-
源库为天翼云及其他云PostgreSQL的情况
源库为天翼云及其他云PostgreSQL且任务包含增量同步时,源库需开启逻辑解码器输出插件Decoderbufs。
- 天翼云在开通PostgreSQL实例时已预置开启Decoderbufs插件,当源库为天翼云PostgreSQL时,请你参照天翼云关系数据库PostgreSQL版-管理插件相关指引查看确认Decoderbufs插件的开启情况,已开启则无需进行操作,未开启则参照指引进行Decoderbufs插件的安装。
- 当源库为其他云PostgreSQL时,需要查看源库对应版本是否支持并已开启Decoderbufs插件。如源库版本不支持Decoderbufs插件则无法进行其他云PostgreSQL到天翼云PostgreSQL的增量同步;如源库版本支持Decoderbufs插件但未开启则按照文档启用插件;如已开启则无需进行操作。具体请参考其他云PostgreSQL的相关指引,例如:
- 华为云支持的插件列表及插件管理的相关指引。
- 阿里云支持的插件列表及插件管理的相关指引。
操作需知
DTS同步过程一般包含四个阶段:预检查阶段、结构同步阶段、全量阶段、增量阶段。为了确保数据同步各个阶段的平顺,在创建同步任务前,请务必阅读以下使用须知。
任务开始前
源库要求
- 源数据库的分区表触发器不可以设置为disable。
- 全量同步支持源库备机状态,但需要设置hot_standby_feedback为on;增量同步不支持源库备机状态。
- 同步对象依赖和关联的对象也须一起同步,否则可能导致任务失败。
- 若要做增量同步,源数据库的“pg_hba.conf” 文件中包含如下的配置:
- host replication all 0.0.0.0/0 md5源数据库参数wal_level必须配置为logical;
- 源数据库需提前安装Decoderbufs插件;
- 源数据库中无主键表的replica identity属性必须为full;
- 源数据库的max_replication_slots参数值必须大于当前已使用的复制槽数量;
- 源数据库的max_wal_senders参数值必须等于或大于max_replication_slots参数值;
- 源数据库中表的主键列toast属性为main、external、extended时,其replica identity属性必须为full。
- 同步对象依赖和关联的对象也须一起同步,否则可能导致任务失败。
目标库要求
- 目标数据库的block_size参数值必须大于或等于源库中的对应参数值。
- 目标数据库和源数据库的lc_monetary参数值一致。
- 若要做增量同步,且同步对象包含外键、触发器或事件触发器,则目标数据库的session_replication_role参数必须设置为replica,同步结束后,此参数需改为origin。
- 目标库不可以包含与待同步对象类型相同且名称相同的对象,包括模式、表、序列等,否则任务可能出差。系统库、系统模式、系统表等除外。
- 选择表级对象同步时,增量同步过程中不建议对表进行重命名操作。
- 对于全量+增量和增量任务,启动前请确保源库中未启动长事务,启动长事务会阻塞逻辑复制槽的创建,进而引发任务失败。
- 若选择同步DDL,须注意源库执行DDL时,确保在目标库上是兼容的。
- 目标数据库关联RDS实例必须有足够的磁盘空间,磁盘大小建议取以下两种中的最小值:
- 源库待同步数据量大小的1.5倍。
- 源库待同步数据量大小加200GB。
结构、全量过程中
- 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。
- 请勿在源库执行任何DDL,否则可能导致数据不一致或任务失败。
- 请勿在目标库做写入操作,否则可能导致数据不一致。
增量过程中
- 请勿修改源库和目标库的端口号,请勿修改、删除源库和目标库连接用户的密码、权限,否则可能导致任务失败。
- 请勿修改源数据库表的主键或者唯一键(主键不存在时),否则可能导致增量数据不一致或任务失败。
- 请勿修改源数据库中表的replica identity属性,否则可能导致增量数据不一致或任务失败。
- 请勿在目标库做写入操作,否则可能导致数据不一致。
- 库级同步时,源库新增无主键表时,请务必同时将该无主键表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。
- 库级同步时,源库新增主键表时,如果主键列toast属性为main、external、extended时,请务必同时将该表的replica identity属性设置为full,然后再写入数据,否则可能导致数据不一致或任务失败。
- 若选择同步DDL,须注意源库执行DDL时,确保在目标库上是兼容的。
数据稽核
- 建议在源库的业务低峰期进行数据比对,防止误报不一致数据,以及减少对源库和DTS任务的冲击。
- 在增量同步过程中做对比时,源库若存在写入,则对比结果可能不一致。
操作步骤
1、购买DTS数据同步实例。
在管理控制台点击“创建实例”进入订购页面,“实例类型”选择“数据同步”,“目标库实例”的“数据库类型”选择PostgreSQL,选择实例,完成其他信息的填写并完成购买。
2、进入实例配置页面。
DTS实例购买成功后,进入【数据迁移】实例列表页面,上一步骤购买成功的实例在实例列表中显示状态为“待配置”,进入实例配置页面的操作分两种情况:
- 当DTS实例的网络接入类型为“公网EIP”时,请先点击“绑定弹性IP”按钮完成公网弹性IP的绑定,然后点击该实例操作列的“实例配置”按钮。
- 当DTS实例网络接入类型为“VPC网络”时,直接点击该实例操作列的“实例配置”按钮。
3、配置源库及目标库信息。
进入实例配置第一个步骤的【配置源库及目标库信息】页面,填入源库与目标库的相关配置信息,包括数据库类型、IP地址端口、数据库账号、数据库密码等信息。
完成上述信息的填写后,点击源数据库和目标数据库的“测试连接”按钮进行数据库连接测试,检查数据库能否正常连接。
4、配置同步对象及高级配置。
源库和目标库连通性测试成功后,点下一步按钮,进入实例配置第二个步骤的【配置同步对象及高级配置】页面,在“源库对象”中选择要同步的源库对象,包含:库、TABLE、VIEW、FUNCTION等,选中后点击“>”按钮,将待同步对象移动到“已选择对象”中。
同步对象配置说明:
配置 | 说明 |
---|---|
任务步骤 | 如果只需要进行全量同步,请同时勾选库表结构同步和 全量同步 。 如果需要进行增量数据的同步,请同时勾选库表结构同步 、全量同步和 增量同步 。 注意: 如果未选择增量同步,为保障数据一致性,数据同步期间请勿在源实例中执行DML和DDL操作。 |
同步对象 | 源库为PostgreSQL的情况下,支持表、视图、函数、存储过程、物化视图、规则、触发器,域、自定义类型等对象的同步。 在同步对象框中单击待同步的对象,然后单击将其移动到已选择对象框;已选择对象可以通过单击将对象回退。 选择同步对象时,如不展开库的详细信息,则表示整库同步,后续在增量任务过程中,可在源库创建新表,其他类型暂不支持。 |
映射名称更改 | 支持库表列三级名称映射,如需更改单个同步对象在目标实例中的库名、表名和列名,选择对象,然后点击编辑按钮。 如需批量更改同步对象在目标实例中的库名、表名,请单击已选择对象方框右上方的“批量编辑”。 若同步任务仅包含结构同步和全量同步,支持列映射名称更改,若同步任务包含增量同步,不允许列映射名称更改。 库表名仅支持字母、数字和下划线,长度不超过64个字符。 注意: 整库同步时不建议做库表名映射。 |
过滤待同步数据 | 支持设置where条件过滤数据,过滤条件不允许;和--字符,如需使用引号,请使用单引号('),只有满足where条件的数据才会同步到目标库。 |
增量同步的DML | 选择增量同步DML操作,选中同步对象,点击“编辑”,在弹出框中选择所需增量同步的DML操作。若在数据库级别和表级别都指定了DML操作,则表级别的设置会覆盖库级别的。 |
增量同步的DDL | 增量任务可选择是否同步增量DDL。 |
是否定时开始任务 | 可选择任务开始的时间,默认点击开始任务后立即启动同步任务。 |
注意
任务中存在整库同步的情况下,则必须勾选增量DDL同步。
非整库同步的情况下,若选择DDL同步,则只同步待同步对象的DDL语句。
非整库同步的情况下,若未选择增量DDL同步,则增量阶段不会同步任何DDL语句。
5、预检查和启动同步。
完成同步对象和高级配置后,点击“下一步预检查”,进入实例配置第三个步骤的【预检查】页面。预检查会检查如下列表信息,并给出检查结果,用户可以依据检查结果进行下一步操作。
检查项 | 检查内容 |
---|---|
lc_monetary参数配置一致性检查 | 检查源库与目标库的lc_monetary参数配置是否一致。 |
pg版本检查 | 检查源库和目标库的pg版本是不是符合要求。 |
同名对象存在性检查 | 检查目标库中是否存在和待迁移库同名的待迁移对象。 |
扩展插件兼容性检查 | 检查源库中安装的扩展插件,在目标库是否存在。 |
约束完整性检查 | 检查待同步对象中子表依赖的父表是否被选中。 |
检查hot_standby_feedback参数配置 | 全量同步源库pg为备节点时,hot_standby_feedback参数需配置为ON。 |
源库用户权限检查 | 检查源库用于DTS任务的用户是否具有相应的权限。 |
源库连通性检查 | 检查数据传输服务器能否连通源数据库。 |
源数据库的模式名表名是否合法 | 检查源数据库的模式名表名是否合法,名称不可以包含+"%'<>,.字符。 |
源库参数wal_level是否为logical | 勾选增量同步时,检查源库wal_level参数值是否为logical。 |
目标库用户权限检查 | 检查目标库用于DTS任务的用户是否具有相应的权限。 |
目标库连通性检查 | 检查数据传输服务器能否连通目标数据库。 |
源库参数max_replication_slots校验 | 勾选增量同步时,检查源库max_replication_slots参数值是否大于当前已使用的复制槽数量。 |
源库参数max_wal_senders校验 | 勾选增量同步时,检查源库max_wal_senders参数值是否大于当前已使用的复制槽数量。 |
逻辑解码插件安装校验 | 勾选增量同步时,检查源库是否安装逻辑解码插件decoderbufs。 |
待迁移表是否存在主键检查 | 勾选增量同步时,检查待同步表中是否存在无主键的表。 |
无日志表存在性检查 | 勾选增量同步时,检查当前选择的待同步对象中的表是否存在无日志表。 |
源库主备状态检查 | 勾选增量同步时,检查源库是否为集群中的主库。 |
ddl同步元数据检查 | 勾选ddl同步时,检查源库是否有ddl同步所需的元数据对象。 |
如果预检查通过,可点击【预检查】页面底部的“启动同步”按钮,开始同步任务。