searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

Kafka 常用命令总结

2024-05-29 01:51:51
12
0

以下命令需要在 KAFKA_HOME 目录下执行,首先进入 KAFKA_HOME

cd /opt/kafka/kafka_2.12-2.3.1/

Kafka 版本 v2.3.1,Scala 版本 v2.12,发布时间:2019 年 10 月

查看 topic 列表

bin/kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list

查看 topic 明细

bin/kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --describe --topic topicName

查看消费者组

bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list

查看 Lag

bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --describe --group myGroup

Lag 是 Kafka 消费进度的重要监控指标
它直接反映了一个消费者的运行情况。一个正常工作的消费者,它的 Lag 值应该很小,甚至是接近于 0 的,这表示该消费者能够及时地消费生产者生产出来的消息,滞后程度很小。反之,如果一个消费者 Lag 值很大,通常就表明它无法跟上生产者的速度,最终 Lag 会越来越大,从而拖慢下游消息的处理速度。通常来说,Lag 的单位是消息数。

查看消息的实时消费情况

bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topicName --group myGroup --from-beginning

如果 server.properties 中配置了 SASL/PLAIN 则需要进行认证授权,可以在命令行末尾附加 command-config 或者 consumer.config 参数

--command-config config.properties
--consumer.config consumer.properties
0条评论
0 / 1000
c****q
1文章数
0粉丝数
c****q
1 文章 | 0 粉丝
c****q
1文章数
0粉丝数
c****q
1 文章 | 0 粉丝
原创

Kafka 常用命令总结

2024-05-29 01:51:51
12
0

以下命令需要在 KAFKA_HOME 目录下执行,首先进入 KAFKA_HOME

cd /opt/kafka/kafka_2.12-2.3.1/

Kafka 版本 v2.3.1,Scala 版本 v2.12,发布时间:2019 年 10 月

查看 topic 列表

bin/kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list

查看 topic 明细

bin/kafka-topics.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --describe --topic topicName

查看消费者组

bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --list

查看 Lag

bin/kafka-consumer-groups.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --describe --group myGroup

Lag 是 Kafka 消费进度的重要监控指标
它直接反映了一个消费者的运行情况。一个正常工作的消费者,它的 Lag 值应该很小,甚至是接近于 0 的,这表示该消费者能够及时地消费生产者生产出来的消息,滞后程度很小。反之,如果一个消费者 Lag 值很大,通常就表明它无法跟上生产者的速度,最终 Lag 会越来越大,从而拖慢下游消息的处理速度。通常来说,Lag 的单位是消息数。

查看消息的实时消费情况

bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topicName --group myGroup --from-beginning

如果 server.properties 中配置了 SASL/PLAIN 则需要进行认证授权,可以在命令行末尾附加 command-config 或者 consumer.config 参数

--command-config config.properties
--consumer.config consumer.properties
文章来自个人专栏
开发运维
1 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0