操作场景
Kafka实例创建成功后,您可以根据业务需要,扩容或者缩容,Kafka实例支持的变更配置如下表所示。
表 变更配置列表
实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间 √ × 代理规格 √ √ 老规格实例 基准带宽 √ × 存储空间 √ × 代理规格 × ×
怎样判断老规格实例和新规格实例?
- 老规格实例:在实例列表中,“规格”显示为带宽(如100MB/s)的实例。
- 新规格实例:在实例列表中,“规格”显示为ECS规格和代理个数(如kafka.2u4g.cluster*3 broker)的实例。
图 实例列表
变更实例规格的影响
表 变更实例规格的影响
变更配置类型 | 影响 |
---|---|
基准带宽/代理数量 | 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容。例如扩容前实例的代理数为3,每个代理的磁盘大小为200GB,扩容后实例的代理数为10,此时代理的磁盘大小依旧为200GB,但是总磁盘大小为2000GB。 新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。 通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。 |
存储空间 | 扩容存储空间有次数限制,只能扩容20次。 扩容存储空间不会影响业务。 |
代理规格 | 扩容/缩容代理规格的过程中,节点会重启,可能造成闪断,生产客户端需要配置重试机制。 若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息。 |
扩容/缩容代理规格的过程
在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更,具体过程如下(以3个代理为例介绍):
- 停止Broker 0的Kafka进程
- 扩容/缩容Broker 0的规格
- 重启Broker 0的Kafka进程
- 重复1~3,扩容/缩容Broker 1的规格。
- 重复1~3,扩容/缩容Broker 2的规格。
图 扩容/缩容代理规格过程
操作步骤
步骤 1 登录管理控制台。
步骤 2 在管理控制台右上角单击,选择区域。
说明请选择Kafka实例所在的区域。
步骤 3 在管理控制台左上角单击,选择“企业中间件”-“分布式消息服务”-“Kafka专享版”,进入分布式消息服务Kafka专享版页面。
步骤 4 在实例所在行,单击“更多 > 变更规格”,进入“分布式消息服务Kafka变更规格”页面。
步骤 5 根据实际情况选择扩容存储空间、代理数量、代理规格、基准带宽,或者缩容代理规格。
老规格实例扩容步骤如下:
- 扩容基准带宽。
在“规格”中,选择扩容后的带宽,单击“下一步”。确认扩容信息无误后,单击“提交”。
在实例列表页面的“规格”中查看扩容后的带宽大小。
说明
扩容带宽是通过扩容代理实现的,原来代理不受影响,业务也不受影响。
新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。
已开启公网访问的实例,在扩容基准带宽时,需要为新扩容的代理设置弹性IP地址。
扩容基准带宽,可以扩大总分区数。
扩容存储空间。
在“存储空间”中,选择扩容后的存储空间大小,单击“下一步”。确认扩容信息无误后,单击“提交”。
在实例列表页面的“可用存储空间”中查看扩容后的存储空间大小。
说明扩容存储空间不会影响业务。
可用存储空间=实际存储空间-用于存储日志和ZK的数据的存储空间-格式化磁盘的损耗。
例如,实际扩容存储空间到700GB,用于存储日志和ZK的数据的存储空间为100GB,格式化磁盘损耗7GB,那么扩容后的可用存储空间为593GB。
新规格实例扩容步骤如下:
- 扩容存储空间。
在“变更配置”中,选择“存储空间”,在“单个代理存储空间”中,选择扩容后的单个代理的存储空间大小,单击“下一步”。确认扩容信息无误后,单击“提交”。
在实例列表页面的“可用存储空间”中查看扩容后的总存储空间大小(即扩容后的单个代理的存储空间*代理个数)。
说明扩容存储空间不会影响业务。
可用存储空间=实际存储空间-用于存储日志和ZK的数据的存储空间-格式化磁盘的损耗。
例如,实际扩容存储空间到700GB,用于存储日志和ZK的数据的存储空间为100GB,格式化磁盘损耗7GB,那么扩容后的可用存储空间为593GB。
- 扩容代理数量。
在“变更配置”中,选择“代理数量”,在“代理数量”中,选择扩容后的代理个数,单击“下一步”。确认扩容信息无误后,单击“提交”。
在实例列表页面的“规格”中查看扩容后的代理个数。
说明扩容代理数量不会影响原来的代理,业务也不受影响。
新创建的Topic才会分布在新代理上,原有Topic还分布在原有代理上,造成分区分布不均匀。通过修改分区平衡,实现将原有Topic分区的副本迁移到新代理上。
已开启公网访问的实例,在扩容代理数量时,需要为新扩容的代理设置弹性IP地址。
扩容代理数量,可以扩大总分区数。
扩容/缩容代理规格。
在“变更配置”中,选择“代理规格”,在“代理规格”中,选择扩容/缩容后的代理规格,单击“下一步”。确认扩容/缩容信息无误后,单击“提交”。
在实例列表页面的“规格”中查看扩容/缩容后的代理规格。
说明扩容/缩容代理规格的过程中,节点会重启,可能造成闪断,生产客户端需要配置重试机制。
若Topic为单副本,扩容/缩容期间无法对该Topic生产消息或消费消息。