用户可将自己开发的程序提交到翼MR中,执行程序并获取结果。本章节教您在翼MR集群后台如何提交一个新的kafka作业。
通过后台提交作业
-
登录翼MR管理控制台。
-
选择“我的集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
-
在“节点管理”页选中单击Master节点,选择要进入的Master节点。
-
单击该节点右侧的“远程连接”。
-
根据界面提示,输入Master节点的用户名和密码,用户名、密码分别为root和创建集群时设置的密码。
-
当前集群默认开启Kerberos认证,执行以下命令认证当前用户。
示例: klist -kt /etc/security/keytabs/kafka.keytab 获取kafka.keytab的principalname kinit -kt /etc/security/keytabs/kafka.keytab kafka.keytab的principalname
-
创建kafka的topic。
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper
-
消费topic中的消息。
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server <KafkaBroker_IP>:9092 --topic <TopicName> --consumer.config /usr/local/kafka/config/consumer.properties{ 可选:--from-beginning --max-messages 5 }
注意--from-beginning:只能消费未被消费的历史数据,未消费数据不会出现。
--max-messages:最多消费多少条数据。