1.1、Filebeat基本介绍
Filebeat是用于"转发"和"集中日志数据”的“轻量型数据采集器",用go语言开发,相比Logstash来说轻便。
Filebeat会监视指定的日志文件路轻,收集日志事件并将数据转发到Elasticsearch、Logstash、Redis、Kafka等存储服务器器
1.2 Filebeat主要组件
Filebeat包含两个主要组件,输入和收割机,两个组件协同工作将文件尾部最新数据发送出去
输入Input:输入负责管理收割机从哪个路径查找所有可读取的资源。
收割机Harvester:负责逐行读取单个文件的内容,然后将内容发送到输出。
1.3 Filebeat工作流程
当filebeat启动后,filebeat通过Input读取指定的日志路径,然后为该日志启动一个收割进程harvester,每一个收割进程读取一个日志文件的新内容,
并发送这些新的日志数据到处理程序spooler ,处理程序会集合这些事件,最后filebeat会发送集合的数据到你指定的位置。