consumer使用规范

1、consumer的owner线程需确保不会异常退出，避免客户端无法发起消费请求，阻塞消费。

2、确保处理完消息后再做消息commit，避免业务消息处理失败，无法重新拉取处理失败的消息。

3、consumer不能频繁加入和退出group，频繁加入和退出，会导致consumer频繁做rebalance，阻塞消费。

4、consumer数量不能超过topic分区数，否则会有consumer拉取不到消息。

5、consumer需周期poll，维持和server的心跳，避免心跳超时，导致consumer频繁加入和退出，阻塞消费。

6、consumer拉取的消息本地缓存应有大小限制，避免OOM（Out of Memory）。

7、consumer session设置为30秒，session.timeout.ms=30000。

8、Kafka不能保证消费重复的消息，业务侧需保证消息处理的幂等性。

9、消费线程退出要调用consumer的close方法，避免同一个组的其他消费者阻塞sesstion.timeout.ms的时间。

producer使用规范

1、同步复制客户端需要配合使用：acks=all

2、配置发送失败重试：retries=3

3、发送优化：linger.ms=0

4、生产端的JVM内存要足够，避免内存不足导致发送阻塞

topic使用规范

配置要求：推荐3副本，同步复制，最小同步副本数为2，且同步副本数不能等于topic副本数，否则宕机1个副本会导致无法生产消息。

创建方式：支持选择是否开启kafka自动创建Topic的开关。选择开启后，表示生产或消费一个未创建的Topic时，会自动创建一个包含3个分区和3个副本的Topic。

单topic最大分区数建议为100。

topic副本数为3（当前版本限制，不可调整）。

其他建议

连接数限制：3000

消息大小：不能超过10MB

使用sasl_ssl协议访问Kafka：确保DNS具有反向解析能力，或者在hosts文件配置kafka所有节点ip和主机名映射，避免Kafka client做反向解析，阻塞连接建立。

磁盘容量申请超过业务量 * 副本数的2倍，即保留磁盘空闲50%左右。

业务进程JVM内存使用确保无频繁FGC，否则会阻塞消息的生产和消费。