1. 问题背景

Ceph是基于crush算法的分布式存储系统，存储进程(OSD)的权重是crush算法IO流量控制的基础；OSD权重决定了硬盘的写入流量大小、使用率；在存储池部署规划时，为了确保底层硬盘负载均衡，行业类做法都是要求硬盘大小规格一致，从而保证OSD权重一致；但是一个存储集群的生命周期大概是5-8年，期间随着硬盘陆续损坏，运维人员更换新的硬盘，这么长的运行时间内可能会出现原规格的硬盘停产，只能用新规格的硬盘，比如原来使用8T的硬盘，几年后只有16T、20T的硬盘，因此合理的分配硬盘的权重对于硬盘的负载均衡、空间的使用率都十分重要。

2. 问题影响

目前在创建osd时，分配权重有两种方案：

• 根据硬盘大小来分配权重，lsblk可以查看硬盘实际大小，例如3T硬盘设置osd权重7.3；14.6T的硬盘设置osd权重14.6T。
• 所有硬盘权重都设置统一标准，比如说1；那么3T硬盘权重1；14.6T的硬盘权重也为1；这种设置方案，对于同一规格大小的硬盘来说没有问题，但是如果更换了容量更小的硬盘，可能会导致该硬盘空间快满，影响存储池使用；如果更换了容量更大的硬盘，可能会导致该硬盘空间浪费，实际使用不到。

如果一、二两种方案混合使用：

• 部署时使用方案一，就是按照硬盘大小来设置osd权重，后续维护更换硬盘时，使用方案二，把osd权重设置为1，就会导致部分硬盘空间浪费，pool空间变小
• 部署时使用方案二，把osd权重设置为1，后续维护更换硬盘时，使用方案一，按照硬盘大小设置权重，会加剧部分硬盘的负载及空间使用，pool空间遭遇木桶效应，极有可能很快写满，影响业务。

3. 问题排查

查看osd权重命令：

ceph osd df tree | grep -v osd，可以查看每台主机的权重，先以主机为单位快速排查，定位出权重有问题的主机

ceph osd tree-from $hostname，查看该主机下每个osd权重，定位出权重不一致的osd

4. 问题处理

重新设置osd权重：

ceph osd crush reweight osd.$id $weight