Logstash是一个开源的服务器端实时数据处理工具，支持从多个数据源中提取数据，经过处理后将数据导入到Elasticsearch中。它非常适合处理流数据，如日志、监控数据和指标数据。

适用场景

日志数据、监控数据、流数据等。

前提条件

• 已经开通天翼云云搜索Elasticsearch实例。
• 已经部署Logstash且打通和Elasticsearch实例之间的网络。

Logstash配置

Logstash可以接收很多数据源，可以根据实际的需求配置。

这里使用Filebeat作为Logstash的输入。

配置your_logstash.conf管道文件。

Logstash需要接收Filebeat的输出并进行处理，示例配置如下：

input {
  beats {
    port => 5044
  }
}

# 对数据进行处理。
filter {
    # mutate {
    #   remove_field => ["@version"]
    # }
}

output{
     elasticsearch{
       # Elasticsearch实例的访问地址。
       hosts =>  ["http://{ip}:{port}", "http://{ip}:{port}", "http://{ip}:{port}"]
       # 访问Elasticsearch实例的用户名和密码，如无安全机制可不配置。
       user => "********"
       password => "********"
       # 配置写入的索引名,示例如下。
       index => "filebeat-logstash-es-%{+YYYY.MM.dd}"
     }
 }

启动Logstash导入数据

可以使用下面的命令在命令行来启动Logstash导入数据：

./bin/logstash -f your_logstash.conf