操作场景
Kafka实例采用物理隔离的方式部署,租户独占Kafka实例。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应计算能力和存储空间的Kafka实例。
购买前须知
- Kafka实例运行于虚拟私有云,购买实例前,需保证有可用的虚拟私有云,并且已配置好安全组与子网。
- (可选)如果需要通过公网访问Kafka实例,请提前准备弹性IP地址。
操作步骤
步骤 1 登录管理控制台。
步骤 2 在管理控制台右上角单击,选择区域。
说明此处请选择与您的应用服务相同的区域。
步骤 3 在管理控制台左上角单击,选择“企业中间件”-“分布式消息服务”-“Kafka专享版”,进入分布式消息服务Kafka专享版页面。
步骤 4 单击页面右上方的“购买Kafka实例”。
每个项目默认最多可以创建100个Kafka实例,如果您想创建更多实例,请联系客服申请增加配额。
步骤 5 选择“计费模式”、“区域”、“项目”和“可用区”。
步骤 6 设置“实例名称”和“企业项目”。
步骤 7 设置实例信息。
- 版本:Kafka的版本号,支持1.1.0、2.3.0和2.7,根据实际情况选择,推荐使用2.7。 Kafka实例创建后,版本号不支持修改 。
- CPU架构:支持“x86计算”,保持默认值即可。
- 在“代理规格”中,请根据业务需求选择相应的代理规格。在“代理数量”中,选择代理个数。
单个代理最大分区数*代理个数=实例分区数上限。当所有Topic的总分区数大于实例分区数上限时,创建Topic失败。
- 在“存储空间”区域,您根据实际需要选择存储Kafka数据的磁盘类型和总磁盘大小。 Kafka实例创建后,磁盘类型不支持修改 。
存储空间包含所有副本存储空间总和,建议根据业务消息体积以及副本数量选择存储空间大小。假设业务存储数据保留天数内磁盘大小为100GB,则磁盘容量最少为100GB*副本数 + 预留磁盘大小100GB。
创建实例时会进行磁盘格式化,磁盘格式化会导致实际可用磁盘为总磁盘的93%~95%。
- 在“容量阈值策略”区域,设置磁盘使用达到容量阈值后的消息处理策略,容量阈值为95%。
- 自动删除:可以正常生产和消费消息,但是会删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。
- 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。
图 创建Kafka实例
步骤 8 设置实例网络环境信息。
- 在“虚拟私有云”下拉列表,选择已经创建好的虚拟私有云和子网。
虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。
说明虚拟私有云和子网在Kafka实例创建完成后,不支持修改。
子网开启IPv6后,Kafka实例支持IPv6功能。
- IPv6:子网开启IPv6后,支持设置此参数。开启IPv6后,客户端可以使用IPv6地址连接实例。
说明
开启IPv6的实例不支持动态开启和关闭SASL_SSL功能。
实例创建成功后,不支持修改IPv6开关。
- 在“安全组”下拉列表,可以选择已经创建好的安全组。
安全组是一组对Kafka实例的访问规则的集合。您可以单击右侧的“管理安全组”,跳转到网络控制台的“安全组”页面,查看或创建安全组。
步骤 9 设置登录Kafka Manager的用户名和密码。创建实例后,Kafka Manager用户名无法修改。
Kafka Manager是开源的Kafka集群管理工具,实例创建成功后,实例详情页面会展示Kafka Manager登录地址,您可登录Kafka Manager页面,查看Kafka集群的监控、代理等信息。
步骤 10 设置实例购买时长。
当选择了“包年/包月”付费模式时,页面才显示“购买时长”参数,您需要根据业务需要选择。
步骤 11 单击“更多配置”,设置更多相关信息。
- 设置“公网访问”。
“公网访问”默认为关闭状态,您可以选择是否开启。
开启公网访问后,还需要为每个代理设置对应的IPv4弹性IP地址。
说明如果开启了IPv6功能,支持设置此参数。
- 设置“Kafka SASL_SSL”。
客户端连接Kafka实例时,是否开启SSL认证。开启Kafka SASL_SSL,则数据加密传输,安全性更高。
“Kafka SASL_SSL”默认为关闭状态,您可以选择是否开启。 Kafka实例创建后,Kafka SASL_SSL开关不支持修改 ,请慎重选择。如果创建后需要修改,需要重新创建实例。
开启Kafka SASL_SSL后,您可以选择是否开启“SASL PLAIN 机制”。未开启“SASL PLAIN 机制”时,使用SCRAM-SHA-512机制传输数据,开启“SASL PLAIN 机制”后,同时支持SCRAM-SHA-512机制和PLAIN机制,根据实际情况选择其中任意一种配置连接。Kafka实例创建后,SASL PLAIN机制开关不支持修改。
什么是SCRAM-SHA-512机制和PLAIN机制?
- SCRAM-SHA-512机制:采用哈希算法对用户名与密码生成凭证,进行身份校验的安全认证机制,比PLAIN机制安全性更高。
- PLAIN机制:一种简单的用户名密码校验机制。
开启Kafka SASL_SSL后,您需要设置连接Kafka实例的用户名和密码。
- 设置“Kafka自动创建Topic”。
“Kafka自动创建Topic”默认为关闭状态,您可以选择是否开启。
开启“Kafka自动创建Topic”表示生产或消费一个未创建的Topic时,系统会自动创建此Topic,此Topic的默认参数值如下:分区数为3,副本数为3,老化时间为72小时,不开启同步复制和同步落盘。
如果在“配置参数”中修改“log.retention.hours”、“default.replication.factor”或“num.partitions”的参数值,此后自动创建的Topic参数值为修改后的参数值。例如:“num.partitions”修改为“5”,自动创建的Topic参数值如下:分区数为5,副本数为3,老化时间为72小时,不开启同步复制和同步落盘。
- 设置“标签”。
标签用于标识云资源,当您拥有相同类型的许多云资源时,可以使用标签按各种维度(例如用途、所有者或环境)对云资源进行分类。
- 如果您已经预定义了标签,在“标签键”和“标签值”中选择已经定义的标签键值对。另外,您可以单击“查看预定义标签”,跳转到标签管理服务页面,查看已经预定义的标签,或者创建新的标签。
- 您也可以直接在“标签键”和“标签值”中设置标签。
当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考管理实例标签章节。
- 设置实例的描述信息。
步骤 12 填写完上述信息后,单击“立即购买”,进入规格确认页面。
步骤 13 确认实例信息无误后,单击“提交”。
步骤 14 在实例列表页面,查看Kafka实例是否创建成功。
创建实例大约需要3到15分钟,此时实例的“状态”为“创建中”。
- 当实例的“状态”变为“运行中”时,说明实例创建成功。
- 如果创建实例失败,在信息栏的“创建失败任务”中查看创建失败的实例。请参考删除实例,删除创建失败的实例,然后重新创建。如果重新创建仍然失败,请联系客服。
说明创建失败的实例,不会占用其他资源。