Beats是轻量级的数据收集器,专门用于将各种日志、指标、网络数据发送到Elasticsearch。常用的Beats包括 Filebeat、Metricbeat、Packetbeat等。
Filebeat是一种轻量级日志收集器,通常用于将文件系统中的日志文件或事件日志发送到Elasticsearch或Logstash。它适合简单的日志采集场景,能够有效处理系统、应用程序日志等。本文将以Filebeat为例,导入数据至Elasticsearch实例。
适用场景
- 轻量数据收集:适用于需要从大量分布式系统、服务器、容器中收集日志、监控指标等情况。
- 实时日志监控:Beats 能够实时收集日志并传送到 Elasticsearch,是实时日志分析场景的理想选择。
- 低延迟要求的场景:Beats设计为轻量级工具,占用资源少,适合资源受限的环境。
前提条件
- 已经开通天翼云云搜索Elasticsearch实例。
- 已经部署Filebeat且打通和Elasticsearch实例之间的网络。
Filebeat配置
Filebeat采集日志,需要配置Filebeat的配置文件,设置具体需要采集的日志路径。
具体根据实际的部署路径配置filebeat.yml。
#采集日志
filebeat.inputs:
- type: log
# 采集的日志文件的路径。替换为自己日志的路径,可以使用通配符。
paths:
- /your_path/*.log
output.elasticsearch:
# ip替换为Elasticsearch实例的地址。
hosts: ["http://{ip}:9200"]
# 传入Elasticsearch实例的用户名和密码
username: "********"
password: "********"
启动Filebeat导入数据
可以使用下面的命令在命令行来启动Filebeat导入数据:
./filebeat -e -c filebeat.yml