云日志服务可以采集哪类日志?
云主机应用日志。容器应用日志,包括容器标准输出日志与文件日志。
如何在云主机上安装采集器?
云日志服务控制台提供采集器安装命令,您需要在目标云主机中执行该命令安装采集器。详情请查看采集器安装。
配置数据采集时支持哪种分词方式?
日志的结构化解析指日志数据将以 key-value 对的形式存储在云日志服务平台上。日志数据结构化后,您可以在云日志服务控制台根据指定的键值进行日志检索、分析与加工。目前采集器提供多种解析方式,详情如下:
解析方式 | 说明 |
---|---|
单行全文 | 单行全文是指一条日志仅包含一行的内容,在采集的时候,将使用换行符来作为一条日志的结束符,即在日志文件中,以换行符分隔两条日志。日志数据本身不再进行日志结构化处理,也不会提取日志字段。每条日志都会存在一个默认的字段__message__,采集器会将日志内容存放在__message__中。详情请参考单行全文模式。 |
多行全文 | 多行全文日志是指一条完整的日志数据可能跨占多行,您需要指定首行正则以进行匹配,当某行日志匹配上预先设置的正则表达式,就认为是一条日志的开头,而下一个行首出现则作为该条日志的结束标识符。日志内容同样也会存放在__message__字段中。详情请参考多行全文模式。 |
单行正则 | 单行正则模式用于处理结构化的日志,针对包含一行内容的日志,您需要指定一个正则表达式,采集器按照正则表达式将一条完整日志提取为多个 key-value 键值。详情请参考单行正则模式。 |
多行正则 | 多行正则模式用于处理结构化的日志,针对包含多行内容的日志,您需要指定一个行首正则表达式用于匹配日志的开头,并指定一个正则表达式用于提取多个值,采集器按照该正则表达式将一条完整日志提取为多个 key-value 键值。详情请参考多行正则模式。 |
单行分隔符 | 单行分隔符模式支持通过配置的分隔符将一条日志分割成多个 key-value 键值,从而实现结构化处理,该模式仅适用于单行日志,每条完整的日志以换行符为结束标识符。详情请参考单行分隔符模式。 |
JSON | 支持解析Object类型的JSON日志,提取JSON日志内容作为Key-Value对,即Object首层的键作为Key,Object首层的值作为Value。详情请参考JSON模式。 |
日志采集器在机器上的安装位置?
- 云主机:登录云主机执行以下命令,在进程信息中可查看采集器安装路径。
systemctl status lmtagent
- 云容器引擎:执行以下命令,在进程信息中可查看采集器安装路径。
ps -ef|grep lmtagent
如何在容器集群中部署日志采集插件?
需要再容器集群中安装ctg-log-operator插件,安装步骤详情请查看云容器引擎-用户指南-插件市场。
使用采集器过程中,CPU占用较高怎么处理?
若在使用采集器过程中,服务器的CPU占用较高,请确认您在云日志服务控制台中配置的日志采集路径下是否有大量的日志文件,若存在大量文件,建议定时清理,以减少采集器在收集日志过程中带来的系统资源占用。