背景信息
迁移上云可以把源云分布式消息服务Kafka集群的元数据(Topic和Group配置信息)、消息数据和点位信息同步到目标集群,迁移完成后目标集群的元数据与原集群的元数据保持一致,并且支持持续更新和完成后自动停止任务。
使用限制
此功能不收费,会占用当前实例的服务器资源,请结合业务流量和服务器资源占用情况,在合理的情况下进行迁移。
单机版不支持迁移。
计费说明
分布式消息服务Kafka的迁移上云组件处于公测阶段,不会在分布式消息服务Kafka侧产生费用。同时,天翼云不承诺迁移的SLA,使用迁移上云所依赖的其他产品的SLA和费用说明请以对应产品为准。
环境要求
如果您需要通过迁移上云功能将公网的自建实例的数据同步到分布式消息服务Kafka或者跨地域将某个VPC内的分布式消息服务Kafka的数据同步到另一个VPC的分布式消息服务Kafka,您需要为该实例绑定弹性IP开启公网访问,然后在公网上进行数据同步。
如果您需要将某个VPC内的数据通过迁移上云功能同步到另一个VPC的分布式消息服务Kafka,需要手动打通VPC。具体步骤,请参见:使用VPCEP实现跨VPC访问Kafka
创建迁移任务
登录分布式消息服务Kafka控制台。
在左侧导航栏,单击集群迁移,然后单击迁移上云。
在迁移上云页签,单击创建任务。
在创建迁移上云任务面板,填写任务名称,选择目标实例,然后单击下一步
填写接入点,选择安全协议,任务数,配置信息等,具体请看参数说明。
填写完参数后,单击创建,完成任务的创建,在任务列表能看到一条任务,状态为等待迁移,后台调度到此任务时,会将任务状态改为迁移中。
其他操作
查看任务详情:单击详情。在任务详情页面,查看迁移上云任务的基础信息、源服务、目标服务和运行环境配置信息。
查看同步进度:单击同步进度,选择查看的Topic,可以看到对应Topic的分区id,最早点位,最新点位和当前点位信息。
启停任务:单击停止,然后在提示对话框,单击确认可停止任务。
参数说明:
参数 | 说明 | 示例 |
---|---|---|
接入点 | 源实例的接入点信息 | 192.168.XX.XX:9092 |
安全协议 | 选择源实例的安全协议。支持PLAINTEXT和SASL_PLAINTEXT。 PLAINTEXT:源实例的接入点需为免密接入点 SASL_PLAINTEXT:源实例的接入点需为鉴权接入点 SASL 用户名:填写SASL用户名,需为超级用户,防止权限不足导致迁移失败 SASL 密码:填写SASL密码 Sasl_Mechanism:SASL认证机制。可选择PLAIN、SCRAM-SHA-256和SCRAM-SHA-512。 | PLAINTEXT |
任务数 | 选择同步数据的任务数。取值说明如下:1、6、12 | 1 |
迁移完成后自动停止任务 | 迁移任务会自动检测是否完成迁移 是:在检测到消息数据完成同步后停止任务 否:不停止任务,您可以手动停止任务 | 否 |
同步topic acls | 迁移数据时是否同步Topic ACLS。单击配置运行环境显示该参数。默认选择否。 是:迁移数据时会将源实例的Topic ACLS信息同步到目标实例。若源实例是自建实例,需要您在目标实例重新创建SASL用户。 否:迁移数据时不会将源实例的Topic ACLS信息同步到目标实例。 | 否 |
同步消费组 | 迁移数据时是否将源实例的消费组和对应的点位信息同步创建在目标实例。单击配置运行环境显示该参数。默认选择是。 | 否 |
Topic | 要迁移的topic信息,选填,多个用半角逗号分开,不填则迁移所有topic | topic1,topic2 |
Groups | 要迁移的group信息,选填,多个用半角逗号分开,不填则迁移所有group | group1,group2 |
副本数是否和源集群保持一致 | 迁移到目标集群的topic的副本数是否和源集群保持一致,默认否 是:副本数是否和源集群保持一致,如原集群topic副本数为1,迁移后的topic副本数也为1 否:迁移后topic的副本数为3 | 否 |