场景描述
在满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提下,使用在线迁移的方式,将源Redis中的数据全量迁移或增量迁移到目标Redis中。
注意
如果源Redis禁用了SYNC和PSYNC命令,请务必放通后再执行在线迁移,否则迁移失败,选择DCS Redis实例进行在线迁移时,会自动放开SYNC命令。
在线迁移不支持公网方式直接迁移。
进行在线迁移时,建议将源端实例的参数repl-timeout配置为300秒,client-output-buffer-limit配置为实例最大内存的20%。
源端仅支持Redis 3.0及3.0以上的Redis版本。
对业务影响
在线迁移,相当于增加一个从节点并且会做一次全量同步,所以,建议在业务低峰期迁移。
前提条件
- 在迁移之前,请先阅读迁移方案概览,选择正确的迁移方案,了解当前DCS支持的在线迁移能力,选择适当的目标实例。
- 如果是单机/主备等多DB的源端实例迁移到Proxy集群实例,Proxy集群默认不开启多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请先参考开启多DB操作开启Proxy集群多DB设置。
- 如果是单机/主备等多DB的源端实例迁移到Cluster集群实例,Cluster集群不支持多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请将数据转存到DB0,否则会出现迁移失败,将数据转存到DB0的操作请参考使用Rump在线迁移。
步骤1:获取源Redis的IP(域名)和端口
获取准备迁移的源Redis实例的IP和端口,或者域名和端口。
步骤2:准备目标Redis实例
如果没有清空,如果存在与源Redis实例相同的key,迁移后,会覆盖目标Redis实例原来的数据。
步骤:3:检查网络
步骤 1 检查源Redis、目标Redis、迁移任务资源所在VPC是否在同一个VPC内。
如果是,则执行步骤4:创建在线迁移任务;如果不是,执行步骤2。
步骤 2检查源Redis的VPC、目标Redis的VPC、迁移任务资源所在VPC的网络是否打通,确保迁移任务的虚拟机资源能访问源Redis和目标Redis。
如果已打通,则执行步骤4:创建在线迁移任务;如果没打通,则执行步骤3。
步骤 3 执行相应操作,打通网络。
- 当源Redis和目标Redis都属于DCS同一region,请参考《虚拟私有云用户指南》的“对等连接”章节,查看和创建对等连接,打通网络。
- 当源Redis和目标Redis属于不同的云厂商或不同Region,请参考《云专线服务用户指南》打通网络。
步骤4:创建在线迁移任务
步骤 1 登录分布式缓存服务控制台。
步骤 2 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。
步骤 3 单击右上角的“创建在线迁移任务”。
步骤 4 设置迁移任务名称和描述。
步骤 5 配置在线迁移任务虚拟机资源的VPC、子网和安全组。
创建在线迁移任务时,需要选择迁移虚拟机资源的VPC和安全组,并确保迁移资源能访问源Redis和目标Redis实例。
说明
创建的在线迁移任务会占用一个租户侧IP,即控制台上迁移任务对应的“迁移IP”。如果源端Redis或目标端Redis配置了白名单,需确保配置了迁移IP或关闭白名单限制。
迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口(安全组默认情况下为全部放通,则无需单独放通),以便迁移任务的虚拟机资源能访问源Redis和目标Redis。
- 创建的在线迁移任务会占用一个租户侧IP,即控制台上迁移任务对应的“迁移IP”。如果源端Redis或目标端Redis配置了白名单,需确保配置了迁移IP或关闭白名单限制。
- 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口(安全组默认情况下为全部放通,则无需单独放通),以便迁移任务的虚拟机资源能访问源Redis和目标Redis。
步骤5:配置在线迁移任务
步骤 1 创建完在线迁移任务之后,在“在线迁移”的列表,单击“配置”,配置在线迁移的源Redis、目标Redis等信息。
步骤 2 选择迁移方法。
支持“全量迁移”和“全量迁移+增量迁移”两种,“全量迁移”和“全量迁移+增量迁移”的功能及限制如下表所示。
在线迁移方法说明
迁移类型 | 描述 |
---|---|
全量迁移 | 该模式为Redis的一次性迁移,适用于可中断业务的迁移场景。全量迁移过程中,如果源Redis有数据更新,这部分更新数据不会被迁移到目标Redis 。 |
全量迁移+增量迁移 | 该模式为Redis的持续性迁移,适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术, 持续保持源Redis和目标端Redis的数据一致。增量迁移,迁移任务会在迁移开始后,一直保持迁移中状态,不会自动停止 。需要您在合适时间,在“操作”列单击“停止”,手动停止迁移。停止后,源端数据不会造成丢失,只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延,具体的时延情况依赖于网络链路的传输质量。 |
选择迁移方法
步骤 3 配置“源Redis”和“目标Redis”。
- Redis类型支持“云服务Redis”和“自建Redis”,需要根据迁移场景选择数据来源。
云服务Redis:当源端或目标Redis为DCS Redis,且与迁移任务处于相同VPC时,可以选择“云服务Redis”类型,并指定需要迁移的DCS Redis实例。
自建Redis:DCS Redis、其他云厂商Redis、自行搭建的Redis,都可以选择“自建Redis”类型,并输入Redis的连接地址。
- 如果是密码访问模式实例,在输入连接实例密码后,单击密码右侧的“测试连接”,检查实例密码是否正确、网络是否连通。如果是免密访问的实例,请直接单击“测试连接”。
步骤 4 单击“下一步”。
步骤 5 确认迁移信息,然后单击“提交”,开始创建迁移任务。
可返回迁移任务列表中,观察对应的迁移任务的状态,迁移成功后,任务状态显示“成功”。
说明
如果是增量迁移,会一直保持迁移中状态,需要手动停止迁移。
如需停止迁移中的任务,勾选迁移任务左侧的方框,单击实例上方信息栏的“停止”,即可停止迁移。
数据迁移后,源端与目标端重复的Key会被覆盖。
如果出现迁移失败,可以单击迁移任务名称,进入迁移任务详情页面,查看“迁移日志”。
迁移后验证
迁移完成后,请使用Redis-cli连接源Redis和目标Redis,确认数据的完整性。
- 连接源Redis和目标Redis。
- 输入info keyspace,查看keys参数和expires参数的值。
- 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,则表示数据完整,迁移正常。
注意如果是全量迁移,迁移过程中源Redis更新的数据不会迁移到目标实例。