在分布式系统中，监控各个组件和服务的运行状态以及性能指标非常重要。这里介绍一些分布式系统监控中常见的监控指标：
- CPU使用率和内存使用率
监控每个节点CPU和内存的使用情况，发现资源紧张的节点。
- 网络流量和带宽
监控节点间网络流量和带宽使用情况，发现网络拥堵点。
- 磁盘使用率和I/O
监控磁盘使用率和I/O操作次数，预防磁盘满或I/O高的问题。
- JVM堆内存和非堆内存使用
监控JVM进程内存使用，预防内存泄漏或溢出问题。
- 线程数和阻塞线程数
监控系统和服务线程使用情况，发现可能的线程泄漏问题。
- 请求响应时间和成功率
监控各个服务和接口的响应时间和成功调用比例。
- 服务调用次数和异常率
监控服务间调用次数和异常调用次数比例。
- 数据库连接池状态
监控数据库连接池连接使用和异常情况。
- 消息队列消息量和处理速度
监控消息队列的消息积压和处理情况。
- 日志文件数量和日志大小
监控日志文件数量和总大小，预防磁盘满。
以上常见指标可以全面监控分布式系统各个层面的运行状态。
这里给分布式系统监控增加一些其他技术细节：
- 自身监控指标
监控系统本身各个组件的CPU、内存和网络负载情况。
- 多级监控指标
支持对监控项进行多级别聚合，如机器、服务、数据中心级别。
- 自定义监控指标
支持用户自定义扩展各种业务相关指标，如订单数、流量等。
- 阈值报警
支持为各监控项设置报警阈值和报警通知策略。
- 历史数据查询
支持按时间范围查询各项监控指标的历史数据。
- 图表展示
支持实时和历史数据以图表形式展示，如线图、饼图等。
- 主机发现
支持自动发现新增和下线的主机实例。
- 数据采集剔除
支持过滤异常数据和重复数据，保证采集数据质量。
- 接口监控
支持直接对外部接口和服务进行监控。
- 页面监控
支持对重要页面的响应时间和异常情况进行监控。
以上设计可以构建一个功能全面且易于管理的分布式系统监控平台。
