AOM支持将日志转储到对象存储服务(Object Storage Service,简称OBS)的OBS桶中,以便进行长期存储。如果您有更长时间的日志存储需求,可添加日志转储。
AOM提供周期性转储和一次性转储两种转储方式,供您选择使用。
- 周期性转储 :将当前日志实时转储到OBS桶中,且以转储周期为粒度对1天的日志进行分割,同一时间段的日志将转储到其对应的日志文件中。例如,您需长久存储固定维度的日志,就可以选择周期性转储,操作详见添加周期性转储。
- 一次性转储 :将历史日志一次性转储到OBS桶的同一个.log日志文件中。
一次性转储类似于“日志搜索”界面的导出功能,“日志搜索”界面最多可导出5000条日志,当日志数量比较多导出功能无法满足需求时,可对指定日志进行一次性转储,操作详见添加一次性转储。
添加周期性转储
下面以组件为例对其日志进行周期性转储:需实时将组件当前新产生的日志实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且将每3个小时的日志转储到其对应的日志文件中,可参考如下操作。
步骤 1 登录AOM控制台,在左侧导航栏中选择“日志 > 日志转储”。
步骤 2 单击右上角的“添加日志转储”,参考下表设置相关参数后,单击“确认”。
添加成功后,指定资源当前新产生的日志将会实时转储到OBS桶中。
组件当前新产生的日志会实时转储到OBS桶obs-store-test的/home/Periodical Dump目录下,且每3个小时的日志转储到其对应的日志文件中。
说明周期性转储属于近实时转储,存在分钟级转储时延,时延与日志条数和日志大小有关,具体规格如下:
5分钟内累计日志条数大于1000条或日志大小超过2MB时,实时转储。
5分钟内累计日志条数小于1000条或日志大小不足2MB时,每5分钟转储。
步骤 3 将存储在OBS中的日志文件下载到本地,以供定位问题使用。
- 在周期性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“概览”页面。
- 在左侧导航栏中单击“对象”,在“对象”页签中,找到存储在OBS中的日志文件,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
转储到OBS桶中的日志文件路径: 日志文件路径与选择的“日志类型”有关,如下表所示。
转储到OBS桶中的日志文件路径
日志类型 | 日志文件存储路径 |
---|---|
组件 | 所属桶目录 > 日志分组名称 > 集群名称 > 组件名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X) 例如,obs-store-test > home > Periodical Dump > log-group1 > zhqtest0112n > als0320a > 2019-03-22> 03。 |
主机 | 所属桶目录 > 日志分组名称 > CONFIG_FILE > default_appname >日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X) |
系统 | 所属桶目录 > 日志分组名称 > 集群名称 > 日志采集日期(格式为YYYY-MM-DD) > 文件编号(格式为0X) |
转储到OBS桶中的日志文件名称 :主机IPV4_日志文件来源(将“/”替换为“-”)_日志文件名称,例如,192.168.0.74_var-paas-sys-log-apm-count_warn.log、192.168.0.74_var-paas-sys-log-apm-debug_erro.trace。
- 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“下载为”。
添加一次性转储
以组件为例对其日志进行一次性转储:将组件近30分钟且包含关键词warn的历史日志,一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下,可参考如下操作。
步骤 1 登录AOM控制台,在左侧导航栏中选择“日志管理 > 日志转储”。
步骤 2 单击右上角的“添加日志转储”,参考下表设置相关参数后,单击“确认”。
一次性转储参数说明
参数 | 说明 | 示例 |
---|---|---|
转储方式 | 包括一次性转储和周期性转储。 | 一次性转储 |
筛选条件 | 可按照日志采集时间、日志类型、命名空间等多个维度对日志进行筛选,以便对满足筛选条件的日志进行转储。 | 日志采集时间选择30分钟,选择组件,关键词设置为warn。 |
日志分组名称 | 待转储日志的逻辑分组,以便以分组为单位对日志进行转储。 说明 转储任务删除后,日志分组也会同时删除。 |
log-group2 |
目标OBS桶 | 存储日志的OBS桶。 说明 如果没有创建过OBS桶,请单击“查看OBS”跳转到OBS界面进行创建。 |
obs-store-test |
所属桶目录 | OBS桶中存储日志的目录。 说明 如果不配置,则日志默认存储在OBS桶的根目录下。 |
/home/One-off Dump |
添加成功后,待“转储状态”变为“转储完成”时,符合条件的历史日志会一次性转储到OBS桶的同一个.log日志文件中。
该组件近30分钟且包含关键词warn的历史日志会一次性转储到OBS桶obs-store-test的/home/One-off Dump目录下的log-group2_shard_0(custom).log日志文件中。
步骤 3 将存储在OBS中的日志文件下载到本地,以供定位问题使用。
- 在一次性转储列表中,单击待操作的OBS桶名称,进入OBS服务的“概览”页面。
- 在左侧导航栏中单击“对象”,在“对象”页签中,找到存储在OBS中的日志文件,例如:/home/One-off Dump/log-group2_shard_0(custom).log。
转储到OBS桶中的日志文件路径: OBS桶 > 所属桶目录。例如,obs-store-test/home/One-off Dump。
转储到OBS桶中的日志文件名称 :日志文件名称与选择的“转储文件形式”有关,如下表所示。
转储到OBS桶中的日志文件名称
日志文件名称 |
---|
日志分组名称_shard_0(custom),例如:log-group2_shard_0(custom).log。 日志分组名称_shard_1(custom) |
- 选中待下载的日志文件,单击右侧的“下载”,日志文件将下载到浏览器默认下载路径,如需要将日志文件保存到自定义路径下,请单击右侧的“下载为”。