日志项目
日志项目是云日志服务的资源管理单位,您可使用日志项目管理不同的应用、产品或项目中的数据。每个日志项目下可创建多个日志单元,是您访问云日志服务资源的入口。
日志单元
日志单元是云日志服务中日志数据的采集、存储、查询、分析的基本单元。每个日志单元隶属于一个日志项目,每个日志项目中可创建多个日志单元。
主机管理
主机组是一组需要采集日志的云主机列表,是一个虚拟分组,云日志服务通过主机组来管理所有需要通过采集器采集日志的云主机。建议您可根据不同的业务场景来划分不同的主机组,以方便管理云日志服务中的日志采集。
日志接入
云日志服务支持实时日志采集,通过采集器的方式方便您在各种数据源场景下采集日志,采集日志后,您可在云日志服务控制台实时查询、分析日志数据。
- 采集器支持无侵入式接入,实现日志实时采集、日志文件批量抓取上报、多管道数据处理,实现高效采集。
- 支持从云主机、容器应用、微服务应用以及其他组件中采集日志。
- 采集规则支持动态配置,提供单行/多行全文、正则、分隔符、JSON等日志结构化解析方式。
日志查询与分析
日志查询指对采集至云日志服务的日志数据进行过滤、搜索、统计分析的功能。
- 对于采集到的日志数据,支持秒级日志查询,从日志采集到可查询的时间<2分钟。
- 提供丰富的查询语法,方便用户进行关键词查询、模糊查询、范围查询等日志查询操作。
- 支持模糊查询、全文查询、字段查询、时间范围查询。
- 支持上下文查询功能。
- 支持各类查询分析场景。
日志可视化
对原始日志结构化后,即可在日志控制台设置日志分析场景,并通过可视化的方式呈现结果。
- 统计图表:云日志服务可通过统计图表的方式对日志的检索分析结果进行可视化展示,使您能方便直观地了解应用运行情况。在统计图表页面,您可选择合适的图表类型,目前支持表格、柱状图、时序图、饼图、数值图等多种多表。
- 自定义仪表盘:仪表盘支持对日志数据进行实时分析,通过查询分析的日志结果可由多种统计图表展示,并能将多个统计图表同步保存到仪表盘中,提供数据分析监控的全局视图。
数据加工
支持对日志数据进行加工,包括数据的规整、脱敏和过滤。
- 数据规整:由于日志数据通常来自于不同的系统组件、应用程序或设备,其格式和结构可能各异,导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换,统计为一致性格式以便后续的处理与分析。
- 数据脱敏:对日志数据中的敏感信息(如密码、手机号、地址等)进行脱敏。
- 数据过滤:针对关键业务或服务的日志进行过滤,用于后续重点分析等场景。
告警
云日志服务支持在控制台设置自定义告警规则,支持针对不同的日志项目、日志单元进行规则配置,设置好的告警规则将周期性执行监控任务,对指定的日志单元执行检索分析,当检索结果满足触发条件时将发送告警通知,以便用户及时发现异常问题。