在本平台运行的任务支持查看资源状况，以方便您掌握资源的使用情况。平台提供了丰富的监控指标，包括基本的CPU、内存、网络及显卡相关的指标，针对GPU，任务侧提供了细粒度指标，您可根据平台提供的指标对GPU进行剖析，深入了解GPU的使用情况。
操作步骤
在“训练任务列表”处点击需要查看的任务ID，进入任务详情，在“运行情况”处找到具体的任务运行ID，在操作列点击“更多”，选择“监控”，可查看当前任务运行记录的监控。
选择实例，即pod，可查看此任务下指定pod的监控。注意当pod被清理时，无法查看原pod监控。
指标说明
| 指标 | 单位 | 说明 |
| CPU使用率 | % | pod的CPU使用率 |
| CPU使用量 | mc | pod的CPU使用量 |
| 内存使用率 | % | pod的内存使用率 |
| 内存使用量 | GB | pod的内存使用量 |
| 普通网络吞吐 | Kbps | pod的网络吞吐，包括网络的接收速率和发送速率 |
| GPU/NPU显存使用率 | % | pod的每张卡的显存使用率 |
| GPU/NPU显存使用量 | GB | pod的每张卡的显存使用量 |
| GPU/NPU使用率 | % | pod的每张卡的显卡使用率 |
| GPU/NPU温度 | °C | pod的每张卡的温度 |
| GPU/NPU功耗 | W | pod的每张卡的功耗 |
| GPU应用时钟频率 | MHz | pod的每张卡的SM应用时钟频率。 |
| GPU显存应用时钟频率 | MHz | pod的每张卡的显存应用时钟频率。 |
| GPU显存带宽利用率 | % | pod的每张卡的显存带宽利用率。 以英伟达GPU V100为例，其最大内存带宽为900 GB/sec，如果当前的内存带宽为450 GB/sec，则内存带宽利用率为50%。 |
| GPU引擎活跃情况 | % | pod的每张卡的引擎活跃情况。 表示在一个时间间隔内，Graphics或Compute引擎处于Active的时间占比。 Graphics或Compute引擎处于Active是指Graphics或Compute Context绑定到线程，并且Graphics或Compute Context处于Busy状态。 该值表示所有Graphics和Compute引擎的平均值。 |
| GPU线程束活跃时间占比 | % | pod的每张卡的线程束活跃时间占比。 表示在一个时间间隔内，至少一个线程束在一个SM（Streaming Multiprocessor）上处于Active的时间占比。 线程束处于Active是指一个线程束被调度且分配资源后的状态，可能是在Computing、也可能是非Computing状态（例如等待内存请求）。 该值表示所有SM的平均值，小于0.5表示未高效利用GPU，大于0.8是必要的。 假设一个GPU有N个SM： 一个核函数在整个时间间隔内使用N个线程块运行在所有的SM上，此时该值为1（100%）。 一个核函数在一个时间间隔内运行N/5个线程块，此时该值为0.2。 一个核函数使用N个线程块，在一个时间间隔内，仅运行了1/5个周期的时间，此时该值为0.2。 |
| GPU线程束占用率 | % | pod的每张卡的线程束占用率。 表示在一个时间间隔内，驻留在SM上的线程束与该SM最大可驻留线程束的比例。 该值表示一个时间间隔内的所有SM的平均值。 占用率越高不代表GPU使用率越高。只有在GPU内存带宽受限的工作负载（DCGM_FI_PROF_DRAM_ACTIVE）情况下，更高的占用率表示更有效的GPU使用率。 |
| GPU张量通道活跃周期分数 | % | pod的每张卡的张量通道活跃周期分数。 表示Tensor（HMMA/IMMA） Pipe处于Active状态的周期比率。 该值表示一个时间间隔内的平均值，较高的值表示Tensor Cores的利用率较高。 该值为1（100%）表示在整个时间间隔内每隔一个指令周期发出一个Tensor指令（两个周期完成一条指令）。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的Tensor Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的Tensor Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的Tensor Core以100%利用率运行。 其他组合模式。 |
| GPU显存拷贝活跃周期分数 | % | pod的每张卡的显存拷贝活跃周期分数。 表示显存带宽利用率将数据发送到设备显存或从设备显存接收数据的周期分数。 该值表示时间间隔内的平均值，较高的值表示设备显存的利用率较高。 该值为1（100%）表示在整个时间间隔内的每个周期执行一条 DRAM 指令（实际上，峰值约为 0.8 (80%) 是可实现的最大值）。 假设该值为0.2（20%），表示20%的周期在时间间隔内读取或写入设备显存。 |
| GPU FP64通道活跃周期分数 | % | pod的每张卡的FP64通道活跃周期分数。 注意：并非所有型号的显卡都有此数据，如A10与L40S型号不支持此精度。 表示FP64（双精度）Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，较高的值代表FP64 Cores有较高的利用率。 该值为 1（100%）表示在整个时间间隔内上每四个周期（以Volta类型卡为例）执行一次FP64指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP64 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP64 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP64 Core以100%利用率运行。 其他组合模式。 |
| GPU FP32通道活跃周期分数 | % | pod的每张卡的FP32通道活跃周期分数。 表示乘加操作FMA管道处于Active的周期分数，乘加操作包括FP32（单精度）和整数。 该值表示一个时间间隔内的平均值，较高的值代表FP32 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP32指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP32 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP32 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP32 Core以100%利用率运行。 其他组合模式。 |
| GPU FP16通道活跃周期分数 | % | pod的每张卡的FP16通道活跃周期分数。 表示FP16（半精度）管道处于Active的周期分数。 该值表示一个时间间隔内的平均值，较高的值代表FP16 Cores有较高的利用率。 该值为 1 (100%) 表示在整个时间间隔内上每两个周期（Volta类型卡为例）执行一次FP16指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP16 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP16 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP16 Core以100%利用率运行。 其他组合模式。 |
| GPU PCIe传输数据速率 | MB/s | pod的每张卡的PCIe传输数据速率。 表示通过PCIe总线传输的数据速率，包括协议标头和数据有效负载。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 |
| GPU PCIe接收数据速率 | MB/s | pod的每张卡的PCIe接收数据速率。 表示通过PCIe总线接收的数据速率，包括协议标头和数据有效负载。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 |
| GPU NVLINK传输数据速率 | MB/s | pod的每张卡的NVLINK传输数据速率。 表示通过NVLink传输的数据速率，不包括协议标头。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。 |
| GPU NVLINK接收数据速率 | MB/s | pod的每张卡的NVLINK接收数据。 表示通过NVLink接收的数据速率，不包括协议标头。 该值表示一个时间间隔内的平均值，而不是瞬时值。 该速率在时间间隔内平均。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。 |
