云日志服务支持接入云主机ECS日志,通过在云日志服务控制台创建采集规则,将云主机ECS待采集日志的路径配置到日志单元中,采集器将按照采集规则进行日志采集。采集完成后,您可以在云日志服务控制台实时查询、分析日志。
前提条件
已创建日志项目与日志单元,详情请参考创建日志项目与日志单元。
接入步骤
云日志服务接入方式选择云主机 ECS-文本日志时,按照如下操作完成接入配置。
-
选择目标日志单元
-
登录云日志服务控制台,在控制台概览页面的日志项目模块,点击目标日志项目的名称,进入日志项目页面。
-
在左侧目标日志单元下,点击【数据接入】。
-
接入数据选择【云主机-文本日志】
-
-
选择云主机。
- 如果您还没有可用的主机组,请执行以下操作:
- 点击【新建主机组】,切换到主机组创建页签。
- 输入主机组名称。
- 在已开通云主机列表中,选择您需要采集日志的目标云主机,作为云主机组进行统一采集管理。
- 点击下一步。
- 如果您已有可用的主机组,请点击【选择已有主机组】,选择目标主机组,并点击下一步。
说明目前仅支持采集天翼云linux云主机。
- 如果您还没有可用的主机组,请执行以下操作:
-
安装采集器。
-
安装采集器前,需要先接入云主机所在的VPC网络。在Step1:VPC接入中,选择目标云主机所在的VPC并点击接入按钮,稍等片刻后检查VPC的网络接入状态,确保目标云主机所在的VPC已处于接入状态。
说明若VPC无法接入,请点击对应VPC的【接入】按钮重试,若重试仍然失败,请查看“常见问题-数据采集-配置日志采集时VPC无法接入如何处理”进行问题排查。
-
复制Step2中提供的采集器安装命令,登录目标云主机,并执行该命令安装采集器。
-
安装完成后需要检查采集器状态。在Step3:检查采集器状态中,点击【开始检测】按钮,稍等片刻后查看采集器状态,确保所有目标云主机的采集器状态均为“运行中”。检测完成后点击下一步。
说明若采集器无法连通,请点击对应云主机的【重新检测】按钮重试,若重试仍然失败,请查看“常见问题-数据采集-云主机采集器无法连通如何处理”进行问题排查。
若采集器状态一直无法连通,您可暂时跳过该步骤,先完成后续的采集规则配置与查询分析配置。
-
-
创建采集配置。
配置具体的采集规则,详情请参考采集规则配置。
采集规则配置完成后,点击【保存并启用】,表示创建采集配置并开始采集日志。点击【保存不启用】则表示只创建采集配置但暂不下发启用,您稍后可在数据接入管理页面进行启用。
-
查询分析配置。
在该步骤中您可配置字段索引,详情请参考索引配置。 -
完成。
在完成页面,点击【日志检索】,将跳转至日志检索分析页面。详情请查看查询与分析日志。
采集规则配置
您需要在日志接入流程中配置采集规则,采集器将按照配置的采集规则采集云主机的日志。
采集配置的具体配置参数说明如下:
-
采集规则名称:自定义采集规则名称,字符长度为3~200,仅支持字母、数字、下划线(_)和连字符(-),且必须以字母和数字开头结尾。
-
采集路径配置:填写您需要采集的日志路径与日志文件名,采集器将监听这些目录(包含子层目录)下所有匹配文件名规则的日志文件,并采集日志数据至云日志服务中。您可通过以下多种方式配置采集路径:
-
采集单一目录下的单一日志文件。示例:
/var/logs/a.log
此例中,采集器将会监听/var/log/目录下以a.log命名的日志文件。
-
支持通配符模式进行目录与文件名的模糊匹配,通配符(* )表示匹配多个任意字符,通配符(?) 表示匹配单个任意字符。示例如下
采集路径 示例说明 /var/logs/*/a.log 此例中,表示/var/logs/目录下,任何一个目录中存在a.log,都能进行日志匹配 /var/logs/service-*/a.log 此例中,表示/var/logs/目录下,任何一个以service-开头的目录中存在a.log,都能进行日志匹配 /var/logs/service/a*.log 此例中,表示/var/logs/service目录下,任何一个以a开头的log类型日志文件,都能进行日志匹配 /var/logs/*.log 此例中,表示/var/logs/目录下,后缀名为.log的日志文件,都能进行日志匹配 -
支持使用递归路径,/**/表示当前目录以及所有子目录。示例:
/var/log/**/a.log
此例中,采集器将会监听/var/log/前缀路径下所有子目录中以a.log命名的日志文件。
说明采集路径中只能出现一次**,不能出现两个及以上。错误示例如:/var/logs/**/test/**/a.log
采集路径中第一个层级不允许为**,以避免误采集系统文件,错误示例如:/**/logtest/a.log
-
-
采集策略
- 全量:从目标文件的第一行日志开始采集;
- 增量:从采集配置下发的时间对应的日志开始采集,如果下发采集配置后,日志文件无更新,则不会采集该文件中的日志。
-
切割模式
支持选择切割模式以实现日志的结构化解析,目前采集器提供多种结构化解析方式,详情如下:
解析方式 | 说明 |
---|---|
单行全文 | 单行全文是指一条日志仅包含一行的内容,在采集的时候,将使用换行符来作为一条日志的结束符,即在日志文件中,以换行符分隔两条日志。日志数据本身不再进行日志结构化处理,也不会提取日志字段。每条日志都会存在一个默认的字段message,采集器会将日志内容存放在message中。详情请参考单行全文模式。 |
多行全文 | 多行全文日志是指一条完整的日志数据可能跨占多行,您需要指定首行正则已进行匹配,当某行日志匹配上预先设置的正则表达式,就认为是一条日志的开头,而下一个行首出现作为该条日志的结束标识符。日志内容同样也会存放在message字段中。详情请参考多行全文模式。 |
单行正则 | 单行正则模式用于处理结构化的日志,针对包含一行内容的日志,您需要指定一个正则表达式,采集器按照正则表达式将一条完整日志提取多个值。详情请参考单行正则模式。 |
多行正则 | 多行正则模式用于处理结构化的日志,针对包含多行内容的日志,您需要指定一个行首正则表达式用于匹配日志的开头,并指定一个正则表达式用于提取多个值。详情请参考多行正则模式。 |
单行分隔符 | 单行分隔符模式支持通过分隔符将一条日志分割成多个值,从而实现结构化处理,该模式仅适用于单行日志,每条完整的日志以换行符为结束标识符。详情请参考单行分隔符模式。 |
JSON | 支持解析Object类型的JSON日志,提取JSON日志内容作为Key-Value对,即Object首层的键作为Key,Object首层的值作为Value。详情请参考JSON模式。 |