Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。
sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和pos。
配置示例:
input {
file {
path => ["/var/log/*.log", "/var/log/message"]
type => "system"
start_position => "beginning"
}
}
解释
有一些比较有用的配置项,可以用来指定 FileWatch 库的行为:
- discover_interval
logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15秒。 - exclude
不想被监听的文件可以排除出去,这里跟 path 一样支持 glob 展开。 - close_older
一个已经监听中的文件,如果超过这个值的时间内没有更新内容,就关闭监听它的文件句柄。默认是 3600 秒,即一小时。 - ignore_older
在每次检查文件列表的时候,如果一个文件的最后修改时间超过这个值,就忽略这个文件。默认是 86400 秒,即一天。 - sincedb_path
如果你不想用默认的 $HOME/.sincedb (Windows 平台上在
C:\Windows\System32\config\systemprofile.sincedb ),可以通过这个配置定义 sincedb 文件到其他位置。 - sincedb_write_interval
logstash 每隔多久写一次 sincedb 文件,默认是 15 秒。 - stat_interval
logstash 每隔多久检查一次被监听文件状态(是否有更新),默认是 1 秒。 - start_position
logstash 从什么位置开始读取文件数据,默认是结束位置,也就是说 logstash 进程会以类似 tail -F 的形式运行。如果你是要导入原有数据,把这个设定改成”beginning”,logstash 进程就从头开始读取,类似 less +F 的形式运行。
注意
1、通常你要导入原有数据进 Elasticsearch 的话,你还需要 filter/date 插件来修改默认的”@timestamp” 字段值。稍后会学习这方面的知识。
2、FileWatch 只支持文件的绝对路径,而且会不自动递归目录。所以有需要的话,请用数组方式都写明具体哪些文件。
3、LogStash::Inputs::File 只是在进程运行的注册阶段初始化一个 FileWatch 对象。所以它不能支持类似 fluentd 那样的
path => "/path/to/%{+yyyy/MM/dd/hh}.log"
写法。达到相同目的,你只能写成
path =>"/path/to/*/*/*/*.log"
FileWatch 模块提供了一个稍微简单一点的写法:
/path/to/**/*.log
用 ** 来缩写表示递归全部子目录。
4、start_position 仅在该文件从未被监听过的时候起作用。如果 sincedb 文件中已经有这个文件的 inode 记录了,那么 logstash 依然会从记录过的 pos开始读取数据。所以重复测试的时候每回需要删除 sincedb 文件(官方博客上提供了另一个巧妙的思路:将 sincedb_path 定义为 /dev/null ,则每次重启自动从头开始读)。