最佳实践概述

场景描述

Kafka与Logstash互联，可实现将Kafka作为inputs把消息传递给Logstash进行处理、或者是作为outputs将Kafka用作消息目的地。

技术架构图

暂无。

方案优势

• 可以异步处理数据：防止突发流量。
• 解耦：当发生异常的时候不会影响上游工作。

前提条件

需已购买Kafka实例、创建Topic，并且已成功消费消息。

资源规划

本实践方案内容仅涉及Kafka专享版实例和Logstash。

分布式消息服务

Figure 分布式消息服务

资源类型	配置项	配置明细	说明
企业中间件	DMS	Kafka专享实例	需已购买kafka专享实例，创建好Topic，并成功消费消息。

Logstash下载与安装

下载并安装Logstash，验证运行成功。

方案正文

配置Kafka

1、登录分布式消息服务Kafka版控制台，按需要单击“实例名称”，进入实例基本信息页面。

图 Kafka控制台实例列表

2、在“连接地址”模块，获取Kafka连接IP地址。

图 连接IP地址与端口

3、创建Logstash-test的Topic。

图 创建Topic

配置Logstash服务

下载Logstash，解压安装，验证启动是否成功。

下载logstash-6.8.10.tar.gz，直接解压安装即可。

执行命令./logstash -e 'input{ stdin{} } output{ stdout{} }'，可检测logstash运行是否成功。

Kafka与Logstash互联

1、将Kafka作为消息输出目的地

使用logstash将命令行输入的信息，传输到Kafka中名为“Logstash-test”的Topic队列。

在/root/Desktop/logstash-6.8.10/conf下创建filetokafka.conf，输入：

在/root/Desktop/logstash-6.8.10/bin目录下执行命令：

从Kafka消费查看Logstash发送的数据：

2、将Kafka作为消息数据来源

在/root/Desktop/logstash-6.8.10/conf下创建input.conf，输入：

执行命令：./logstash -e ../conf/input.conf，启动Logstash消费Kafka中的消息。