Logstash是一个开源的服务器端实时数据处理工具，支持从多个数据源中提取数据，经过处理后将数据导入到OpenSearch中。它非常适合处理流数据，如日志、监控数据和指标数据。

适用场景

日志数据、监控数据、流数据等。

前提条件

• 已经开通天翼云云搜索OpenSearch实例。
• 已经部署Logstash且打通和OpenSearch实例之间的网络。

Logstash配置

Logstash可以接收很多数据源，可以根据实际的需求配置。

这里使用Filebeat作为Logstash的输入。

配置 your_logstash.conf 管道文件。

Logstash需要接收Filebeat的输出并进行处理，示例配置如下：

input {
  beats {
    port => 5044
  }
}

# 对数据进行处理。
filter {
    # mutate {
    #   remove_field => ["@version"]
    # }
}

# 输出到OpenSearch实例。
output {
  OpenSearch {
    # OpenSearch实例的访问地址。
    hosts => ["http://{ip}:{port}", "http://{ip}:{port}", "http://{ip}:{port}"]
    # 访问OpenSearch实例的用户名和密码，如无安全机制可不配置。
    user => "********"
    password => "********"
    # 配置写入的索引名,示例如下。
    index => "filebeat-logstash-os-%{+YYYY.MM.dd}"
  }
}

启动Logstash导入数据

可以使用下面的命令在命令行来启动Logstash导入数据。

./bin/logstash -f your_logstash.conf