Broadcom作为市场上主流的存储控制器芯片厂商,不但有标准的存储控制器卡(PCIE/OCP等各种形态),而且大多数OEM/ODM厂商也会用
片进行存储控制器卡定制,以实现成本优化的目的,但使用Broadcom存储芯片的存储控制器卡,除了DELL实现了命令行管理工具的定制(storcli-->perccli),原厂卡和他定制卡均使用官方提供的命令行工具进行管理(storcli),现总结PMC芯片的控制器卡的常用命令总结如下:
1. 参数说明
以下所有x均代表数字(0、1、2等)或者all。
- /cx 控制器指定
- /ex 背板标号指定
- /sx 硬盘插槽位置顺序指定
- /vx 逻辑设备指定
- /dx 磁盘阵列卷组指定
- /fall 所有异常导入其他控制器控制的硬盘设备指定
- /[bbu|cv] 电池/超级电容指定
2. 常用命令
2.1 显示存储控制器卡基本信息
/opt/MegaRAID/storcli/storcli64 /c0 show
2.2 显示存储控制器卡完整信息
/opt/MegaRAID/storcli/storcli64 /c0 show all
2.3 显示存储控制器卡的当前时钟时间
/opt/MegaRAID/storcli/storcli64 /c0 show time
2.4 显示第一张存储控制器卡下逻辑设备基本信息
/opt/MegaRAID/storcli/storcli64 /c0/vall show
2.5 显示第一张存储控制器卡下逻辑设备的完整信息
/opt/MegaRAID/storcli/storcli64 /c0/vall show all
2.6 显示第一张存储控制器卡下物理设备的基本信息
/opt/MegaRAID/storcli/storcli64 /c0/eall/sall show
2.7 显示第一张存储控制器卡下物理设备的完整信息
/opt/MegaRAID/storcli/storcli64 /c0/eall/sall show all
2.8 查看电池基本信息(视实际情况而定,锂电池用bbu,超级电容用cv)
/opt/MegaRAID/storcli/storcli64 /c0/bbu show
/opt/MegaRAID/storcli/storcli64 /c0/cv show
2.9 查看电池详细信息(视实际情况而定,锂电池用bbu,超级电容用cv)
/opt/MegaRAID/storcli/storcli64 /c0/bbu show all
/opt/MegaRAID/storcli/storcli64 /c0/cv show all
2.10 设置逻辑设备的缓存策略
/opt/MegaRAID/storcli/storcli64 /c0/v0 set wrcache=WB|WT|AWB
/opt/MegaRAID/storcli/storcli64 /c0/v0 set rdcache=ra|nora
说明:
- WB:Write Back with BBU,开启回写功能(数据先写入缓存,再经过缓存写入逻辑设备中)(阵列卡电池故障的情况下,写功能失效),
- WT: Write Through(使用直写功能,数据不经过缓存,直接写入逻辑设备中)
- AWB: Always Write Back(不依赖于电池供电,阵列卡电池故障情况下,回写功能正常使用,但是异常掉电情况下有数据丢失的风险,慎操作)
- ra: read ahead 开启预读功能
- nora:no read ahead 不开启预读功能
2.11 添加热备盘
/opt/MegaRAID/storcli/storcli64 /c0/ex/sx add hotsparedrive
2.12 删除热备盘
/opt/MegaRAID/storcli/storcli64 /c0/ex/sx delete hotsparedrive
2.13 创建raid0(硬盘信息示例见备注)
/opt/MegaRAID/storcli/storcli64 /c0 add vd r0 drives=14:4,5 ra|nora wb|awb strip=256
说明:
- drives: 硬盘设备信息(单盘可做raid0,只写一个设备即可)
- ra: 开启预读功能
- nora:关闭预读功能
- wb: 开启回写功能
- awb:开启强制回写功能(不依赖于电池供电)
- 不需要回写功能,不写wb和awb即可
- strip: 条带深度大小(64KB-1MB)
2.14 创建raid1(硬盘信息示例见备注)
/opt/MegaRAID/storcli/storcli64 /c0 add vd r1 drives=14:4,5 ra|nora wb|awb strip=256
2.15 创建raid10(硬盘信息示例见备注)
/opt/MegaRAID/storcli/storcli64 /c0 add vd r10 drives=14:4,5,8,9 ra|nora wb|awb strip=256 pdperarray
说明:pdperarray:设置有多少个物理磁盘在同一个阵列(4块盘做raid10,2块盘做raid1,两组raid1做成raid0)
2.16 创建raid5(硬盘信息示例见备注)
/opt/MegaRAID/storcli/storcli64 /c0 add vd r5 drives=14:4,5,8,9 ra|nora wb|awb strip=256
说明:raid5:最少需要3块物理磁盘
2.17 创建raid50(硬盘信息示例见备注)
/opt/MegaRAID/storcli/storcli64 /c0 add vd r50 drives=14:4,5,8,9,12,13 ra|nora wb|awb strip=256 pdperarray=3
说明:
- raid50:最少需要6块物理磁盘
- pdperarray:设置有多少个物理磁盘在同一个阵列(6块盘做raid50,3块盘做raid5,两组raid5做成raid50)
2.18 删除逻辑设备(以第二个逻辑设备为例:逻辑设备从0开始)
/opt/MegaRAID/storcli/storcli64 /c0/v1 delete
2.19 查看逻辑设备初始化进度(以第二个逻辑设备为例:逻辑设备从0开始)
/opt/MegaRAID/storcli/storcli64 /c0/v1 show init
2.20 查看物理盘重建(rebuild)进度
/opt/MegaRAID/storcli/storcli64 /c0/e14/s4 show rebuild
2.21 硬盘状态灯点亮/关闭(EID-Enclosure Device ID:14,Slt-Slot No.:4)
/opt/MegaRAID/storcli/storcli64 /c0/e14/s4 start locate
/opt/MegaRAID/storcli/storcli64 /c0/e14/s4 stop locate
2.22 输出日志
/opt/MegaRAID/storcli/storcli64 /c0 show termlog > /root/term.log
/opt/MegaRAID/storcli/storcli64 /c0 show events filter=info|warning|critical|fatal file=/root/events.log
说明:filter:过滤器,可要可不要,使用过滤器功能,只会输出指定级别的日志
3. 故障实例演示,设备信息参考备注:
3.1 在raid1中新插入一块有raid信息的磁盘
a. 查看是否存在有raid信息的磁盘
/opt/MegaRAID/storcli/storcli64 /c0/fall show
b.删除存在有raid信息的磁盘中的raid信息(无raid信息的标识是UGood(Unconfigured Good))
/opt/MegaRAID/storcli/storcli64 /c0/fall delete
c.由于在很多时候,磁盘中的raid信息被删除后,硬盘控制器不会自动刷新更新硬盘情况从而自动导入新的硬盘进行磁盘阵列的重建动作,遇到这种
情况建议如下:
(1)删除raid信息后,5分钟内自动重建修复磁盘阵列(rebuild)(可通过第20条查看),操作即可结束。
(2)删除raid信息后,5分钟内没有开始重建修复磁盘阵列(可通过第20条查看),可通知现场进行硬盘拔出5分钟后,再插回操作。
(3)插回后还没有自动重建修复磁盘阵列,可强制执行(以控制器0,背板14,插槽8为例)。
/opt/MegaRAID/storcli/storcli64 /c0/e14/s8 start rebuild
(4)若还不能正常解决问题,可联系其他运维,协商如何解决。
3.2 单盘raid0,故障换盘后新建磁盘阵列(以控制器0,背板14,插槽8,逻辑设备5为例)
说明:单盘raid0,常见于C1、C2、S1-V3、S3-V3等SAS盘数据库(DB)机型,单盘raid0的参数为:ra,wb,strip=256(默认值)
a.确保新盘中无raid信息(查看、清洗和导入请参考案例1)
b.查看阵列卡中是否仍保留逻辑设备5的磁盘阵列信息
/opt/MegaRAID/storcli/storcli64 /c0 show preservedcache
c. 删除阵列卡中预留的逻辑设备5的磁盘阵列信息(若是无预留raid信息,跳过步骤c,直接步骤d即可)
/opt/MegaRAID/storcli/storcli64 /c0/v5 delete preservedcache
d.新建磁盘阵列
/opt/MegaRAID/storcli/storcli64 /c0 add vd r0 drives=14:8 ra wb strip=256
3.2 数据盘异常掉线(offline),或者处于故障(failed状态),如下图所示,slot2-7的硬盘全部Failed,逻辑卷1所属硬盘位slot2-5,逻辑卷2所属硬盘位slot6-7
a. 强制将设备改为正常状态(good)
/opt/MegaRAID/storcli/storcli64 /c0/e8/s2 set good force
b.若是修改成功,其他硬盘均做此操作,若修改不成功,跳过步骤c-d,执行步骤e.
/opt/MegaRAID/storcli/storcli64 /c0/e8/s3-7 set good force
c. 确保所有硬盘均正常后,查看并删除阵列卡预留的磁盘阵列缓存信息
/opt/MegaRAID/storcli/storcli64 /c0 show preservedcache (查看是否存在预留磁盘阵列缓存)
/opt/MegaRAID/storcli/storcli64 /c0/v1-2 delete preservedcache(删除阵列卡预留的磁盘阵列缓存)
d.执行导入外围磁盘阵列信息
/opt/MegaRAID/storcli/storcli64 /c0/fall import
e. 强制所有设备掉线(offline),再强制所有设备上线(online)
/opt/MegaRAID/storcli/storcli64 /c0/e8/s2-7 set offline
/opt/MegaRAID/storcli/storcli64 /c0/e8/s2-7 set online
f. 执行步骤c-e,最终确保逻辑设备和物理设备的状态如下图所示:
逻辑卷(Optl:Optimal:完美状态)
物理硬盘设备(Onln:online,在线状态)
4.硬盘基本信息示例备注
VD LIST :
=======
---------------------------------------------------------
DG/VD TYPE State Access Consist Cache sCC Size Name
---------------------------------------------------------
0/0 RAID1 Optl RW Yes RWTD - 931.0 GB
---------------------------------------------------------
Cac=CacheCade|Rec=Recovery|OfLn=OffLine|Pdgd=Partially Degraded|dgrd=Degraded
Optl=Optimal|RO=Read Only|RW=Read Write|B=Blocked|Consist=Consistent|
R=Read Ahead Always|NR=No Read Ahead|WB=WriteBack|
AWB=Always WriteBack|WT=WriteThrough|C=Cached IO|D=Direct IO|sCC=Scheduled
Check Consistency
Physical Drives = 8
PD LIST :
=======
--------------------------------------------------------------------------
EID:Slt DID State DG Size Intf Med SED PI SeSz Model Sp
--------------------------------------------------------------------------
14:4 20 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
14:5 19 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
14:8 18 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
14:9 17 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
14:12 15 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
14:13 16 UGood - 3.637 TB SATA HDD N N 512B ST4000NM0024-1HT178 U
252:0 10 Onln 0 931.0 GB SATA HDD N N 512B ST1000NX0313 U
252:1 8 Onln 0 931.0 GB SATA HDD N N 512B ST1000NX0313 U
--------------------------------------------------------------------------
EID-Enclosure Device ID|Slt-Slot No.|DID-Device ID|DG-DriveGroup
DHS-Dedicated Hot Spare|UGood-Unconfigured Good|GHS-Global Hotspare
UBad-Unconfigured Bad|Onln-Online|Offln-Offline|Intf-Interface
Med-Media Type|SED-Self Encryptive Drive|PI-Protection Info
SeSz-Sector Size|Sp-Spun|U-Up|D-Down|T-Transition|F-Foreign
UGUnsp-Unsupported