功能简介
天翼云云搜索提供了高级的索引管理功能,通过该插件可以可视化查看并管理索引、创建索引策略、创建roll-up作业,通过Kibana和Opensearch Dashboards可视化对索引进行管理。
使用示例
我们以Opensearch Dashboards的索引管理界面来进行演示。
登录Dashboards点击左侧菜单进入索引管理页面,菜单如下:
索引相关信息的查看和基本操作
如图所示,支持以下几种管理方式:
- 显示索引相关的信息。
- 还提供了一些界面化的高阶操作,比如reindex、clear、cache、delete等指令,基本就是替代了直接查看的一些指令。
- 还可以直接创建索引,常规操作。
- 可以查看索引是否被某些策略控制。
使用索引策略来对索引进行管理
我们以自动清理索引策略为例子,进行演示。
- 如图,我们创建了一个索引策略叫auto_delete_index_test,其中索引策略的配置和解释如下:
- 我们创建一个mytest-01索引,格式符合索引模板的名称。创建好后,可以看到该索引被索引策略所纳管。
- 当一段时间过后,索引符合了被删除的策略,状态变为了to_delete_state状态,如图所示:
- 后台的策略执行完后,我们再次查看,索引最终被删除了。
rollup作业管理
Rollup Job是一个用于汇总和聚合索引中数据的任务。它可以在原始索引上执行一系列聚合操作,并将结果存储在新的汇总索引中。这种汇总和聚合可以大大降低数据量,并提高查询性能。
在某些场景下,比如流量、点击、访问等等采集的很细粒度的日志数据,近几小时、几天的数据,有一定的参考价值。非常久远的数据,可以直接归档删了。但是,对于比如7-90天的数据,如果仍然很细粒度保存,那么价值也不是特别大。因此,将细粒度的数据进行rollup处理,然后再删除原始索引,对于使用和查询上基本无任何影响,但是可以极大地降低存储空间。
多数场景下,创建合适的rollup job可以减少90%存储。
在索引管理界面,执行如下操作:
- 创建一个rollup job,并且选择适用哪些索引,并且要重新生成新的索引。
- 定义聚合规则---比如按照1h的维度,去sum/avg/max/min某些特定的指标。
- 指定job Scheduler。
- 后台系统运行rollup jobs。
创建好后,系统会在后台自动执行rollup job。