本章节主要介绍了通过DRS将本地MongoDB数据库实时迁移至本云DDS的任务配置流程。支持以下网络类型:
VPN(Virtual Private Network,虚拟专用网络)网络
公网网络
迁移流程
图 迁移流程图
迁移建议(重要)
数据库迁移与环境多样性和人为操作均有密切关系,为了确保迁移的平顺,建议您在进行正式的数据库迁移之前进行一次演练,可以帮助您提前发现问题并解决问题,如何最小化对数据库的影响请参考如下建议。
强烈建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性迁移成功率,避免迁移对业务造成性能影响。
迁移须知(重要)
说明在创建迁移任务之前,请您务必仔细阅读迁移须知。
参考《数据库复制服务快速入门》中的“使用须知”章节。
迁移准备
1.权限准备:
当使用 DRS 将本地数据库的数据迁移到本云DDS实例时,在不同迁移类型情况下,对源数据库和目标数据库的帐号权限要求如表1所示:
表 迁移账号权限
迁移类型
全量迁移
全量+增量迁移
源数据库
o 副本集:连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限。
o 集群:连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限,对config数据库有read权限。
o 单节点:连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限。
如果需要迁移源数据库用户和角色信息,连接源数据库的用户权限需要对admin数据库的系统表system.users,system.roles有读权限。
o 副本集:连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限,对local数据库有read权限。
o 单节点:连接源数据库的用户权限需要对admin数据库有readAnyDatabase权限,对local数据库有read权限。
o 集群:连接源数据库mongos节点的用户权限需要对admin数据库有readAnyDatabase权限,对config数据库有read权限, 连接源数据库分片节点的用户权限需要对admin数据库有readAnyDatabase权限,对local数据库有read权限。
如果需要迁移源数据库用户和角色信息,连接源数据库的用户权限需要对admin数据库的系统表system.users,system.roles有读权限。
目标数据库
连接目标数据库的用户权限需要对admin数据库有readAnyDatabase权限,对目标数据库有readWrite权限。
源数据库的权限设置:
需要确保源数据库MongoDB的帐号具备表1的权限,若权限不足,需要在源数据库端创建高权限的帐号。
目标数据库的权限设置:
本云DDS实例使用初始帐号即可。
2.网络准备:
源数据库的网络设置:
本地MongoDB数据库实时迁移至本云DDS的场景,一般可以使用VPN网络和公网网络两种方式进行迁移,您可以根据实际情况为本地MongoDB数据库开放公网访问或建立VPN访问。一般推荐使用公网网络进行迁移,该方式下的数据迁移过程较为方便和经济。
目标数据库的网络设置:若通过VPN访问,请先开通天翼云VPN服务,确保源数据库和目标DDS网络互通。
若通过公网网络访问,目标DDS不需要进行设置。
3.安全规则准备:
- 源数据库的白名单设置:若通过公网网络进行迁移,源数据库MongoDB实例需要将具体的DRS迁移实例的弹性公网IP添加到其网络白名单中,确保源数据库MongoDB实例可以与上述弹性公网IP连通。在设置网络白名单之前需要获取DRS迁移实例,具体方法如下:
迁移实例创建成功后,可在“源库及目标库”页面获取DRS迁移实例的弹性公网IP。如图4所示:
图 迁移实例公网弹性IP
以上讲述的是精细配置白名单的方法,还有一种简单设置白名单的方法,在安全允许的情况下,可以将源数据库MongoDB实例的网络白名单设置为0.0.0.0/0,代表允许任何IP地址访问该实例。
若通过VPN网络进行迁移,源库需要将DRS迁移实例的私有IP添加到其网络白名单内,确保源端和目标端网络互通。
上述的网络白名单是为了进行数据迁移设置的,迁移结束后可以删除。
- 目标数据库安全组规则设置:
目标数据库默认与DRS迁移实例处在同一个VPC,网络是互通的,DRS可以直接写入数据到目标数据库,不需要进行任何设置。
4.其他事项准备:
由于迁移过程不会迁移MongoDB数据库的用户信息以及相关参数,需要自行将上述信息导出后手动添加到目标DDS中。
迁移步骤
以下操作以公网网络迁移的方式为例,指导您通过DRS将本地MongoDB数据库实时迁移至本云DDS实例。
1.创建迁移任务。
- 登录管理控制台,在服务列表中选择“数据库 > 数据库复制服务”,进入数据库复制服务信息页面。
- 在“实时迁移管理”页面,单击右上角“创建迁移任务”,进入迁移任务信息页面。
- 在“迁移实例”页面,填选任务名称、通知收件人、描述和迁移实例信息。
图 迁移实例信息
表 任务信息
参数 描述 任务名称 任务名称在4位到64位之间,必须以字母开头,不区分大小写,可以包含字母、数字、中划线或下划线,不能包含其他的特殊字符。 任务异常通知设置 该项为可选参数,开启之后,需要填写手机号码或者邮箱作为指定收件人。当迁移任务状态异常时,系统将发送通知给指定收件人。说明:收到确认短信或邮件之后,需要在48小时内处理,否则该功能订阅无效。 时延阈值 增量迁移中,源数据库和目标数据库之间的同步有时会存在一个时间差,称为时延,单位为秒。时延阈值设置是指时延超过一定的值后(时间阈值范围为1—3600s),DRS可以发送通知给指定收件人。
说明首次进入增量迁移阶段,会有较多数据等待同步,存在较大的时延,属于正常情况,不在此功能的监控范围之内。描述 描述不能超过256位,且不能包含!=<>&'"特殊字符。
表 迁移实例
参数 | 描述 |
---|---|
数据流动方向 | 选择入云。 |
源数据库引擎 | 选择MongoDB数据库引擎。 |
目标数据库引擎 | 选择DDS数据库引擎。 |
网络类型 | 选择公网网络。建议您开启SSL安全连接,SSL约降低20-30%的迁移性能,但保证了数据的安全性。 |
目标数据库实例 | 选择您所创建的本云DDS实例。 |
迁移模式 | § 全量全量为一次性迁移,如果您只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 § 全量+增量增量可以在全量迁移完成的基础上实现数据的持续同步。您可以选择全量+增量的迁移模式,实现迁移过程中源业务和数据库继续对外提供访问。 |
- 在“源库及目标库”信息页面,迁移实例创建成功后,填选源库信息和目标库信息,建议您单击“源库和目标库”处的“测试连接”,分别测试并确定与源库和目标库连通后,勾选协议,单击“下一步”。
图 源库及目标库信息
表 源库信息
参数 | 描述 |
---|---|
IP地址或域名 | 配置源数据库MongoDB实例的访问地址或域名。 |
端口 | 配置源数据库MongoDB实例的服务端口,可输入范围为1~65535间的整数。 |
数据库用户名 | 访问源数据库MongoDB的用户名。 |
数据库密码 | 访问源数据库MongoDB的用户名所对应的密码。 |
SSL安全连接 | 在选择公网网络进行迁移任务时,为了提升数据在网络传输过程中的安全性,建议您开启SSL安全连接,对迁移链路进行加密,如果开启,需要您上传CA证书。 |
表 目标库信息
参数 | 描述 |
---|---|
数据库实例名称 | 默认为创建迁移任务时选择的已创建的DDS实例,不可进行修改。 |
数据库用户名 | 访问目标端DDS实例的用户名。 |
数据库密码 | 访问目标端DDS实例的用户名所对应的密码。 |
- 在“迁移设置”页面,设置迁移对象。
图 迁移对象
表 迁移模式和迁移对象
参数 | 描述 |
---|---|
迁移对象 | 选择您需要迁移的对象。迁移对象选择的粒度可以为库和表,对象迁移到DDS实例后,对象名将会保持与源数据库MongoDB实例对象名一致且无法修改。 |
- 在“预检查”页面,进行迁移任务预校验,校验是否可进行任务迁移。查看检查结果,如有失败的检查项,需要修复失败项后,单击“重新校验”按钮重新进行迁移任务预校验。
预检查失败项处理建议请参见《数据库复制服务用户指南》中的“预检查失败项修复方法”。
预检查完成后,且所有检查项结果均成功时,单击“下一步”。
图 预检查
说明所有检查项结果均成功时,若存在告警,需要阅读并确认告警详情后才可以继续执行下一步操作。
- 在“任务确认”页面,选择迁移任务的启动时间,勾选协议,单击“启动任务”,提交迁移任务。
说明迁移任务的启动时间可以根据业务需求,设置为“立即启动”或“稍后启动”。
预计迁移任务启动后,会对源数据库和目标数据库的性能产生影响,建议选择业务低峰期,合理设置迁移任务的启动时间。
- 迁移任务提交后,开始启动迁移任务,您可以返回“实时迁移管理”页面,查看迁移任务状态。
2.任务管理
迁移任务启动后,会经历全量迁移和增量迁移两个阶段,对于不同阶段的迁移任务,您可以进行任务管理。全量迁移
查看迁移进度:全量迁移中的任务,您可单击任务名称,在“迁移进度”页签下,查看全量迁移进度。当全量迁移进度显示为100%,表示全量迁移已经完成。
增量迁移查看时延监控:全量迁移完成后,开始进行增量迁移。对于增量迁移中的任务,您可单击任务名称,在“迁移进度”页签下,查看增量迁移同步时延,当时延为0s时,说明源数据库和目标数据库的数据是实时同步的。您也可以使用“迁移对比”页签进行一致性对比。
图 查看时延监控
查看迁移对比:为了尽可能减少业务的影响和业务中断时间,增量迁移中的任务,您可单击任务名称,在“迁移对比”页签下,建议按照如下流程进行迁移对比,以便确定合适的业务割接时机。
图 迁移对比流程
具体的迁移对比操作及注意事项请参考《数据库复制服务用户指南》中“对比迁移项”章节。
3.割接建议
建议您选择一个业务低峰期,开始正式系统割接流程。割接前,请您确认至少在业务低峰期有过一次完整的数据对比。可以结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
- 先中断业务(如果业务负载非常轻,也可以尝试不中断业务)。
- 在源数据库端执行如下语句,并观察在1-5分钟内若无任何新会话执行SQL ,则可认为业务已经完全停止。
db.currentOp()
说明上述语句查询到的进程列表中,包括DRS迁移实例的连接,您需要确认除DRS迁移实例的连接外无任何新会话执行SQL,即可认为业务已经完全停止。
- 通过DRS迁移任务监控页面进行观察同步时延,保持实时同步时延为0,并稳定保持一段时间;同时,您可以使用数据级对比功能,进行割接前的最后一次数据级对比,耗时可参考之前的对比记录。如果时间允许,则选择全部对比。
如果时间不允许,则推荐对比活跃表,关键业务表,第二步对比多次存在差异的表等。
- 确定系统割接时机,业务系统指向本云数据库,业务对外恢复使用,迁移完成。
4.迁移结束
- 结束迁移任务:业务系统和数据库切换至本云后,为了防止源数据库的操作继续同步到目标数据库,造成数据覆盖问题,此时您可选择结束迁移任务,该操作仅删除了迁移实例,迁移任务仍显示在任务列表中,您可以进行查看或删除。结束迁移任务后,DRS将不再计费。
- 删除迁移任务:对于已结束的迁移任务,您可选择删除任务。该操作将一并删除迁移任务,删除迁移任务后,该任务将不会出现在任务列表中。