一、FS的部署模式
1)融合部署
VBS和OSD合部在同一节点
2)分离部署
VBS和OSD分开部署在不同的节点
3)scsi和iscsi使用场景
业务与VBS是否合部
如果合部---scsi
如果分开部署在不同节点----iscsi
无论是scsi还是iscsi,都支持融合部署和分离部署
通常在应用场景上考虑是融合还是分离,多在scsi场景考虑
scsi场景下
如果业务需要大量计算资源保障,此时考虑分离部署----关键业务系统,例如数据库
如果服务器主机有足够计算资源支持业务和FS的组件运行,此时考虑融合部署----云场景
融合部署的成本低于分离部署
二、FS的灾备
备份主要用来保证业务的安全性
容灾主要作用是保护业务的连续性
容灾又分为异地容灾和同城容灾
FS作为生产存储支持ebakcup或者第三方备份管理软件的备份
FS的高级特性
双活
hyper metro
远程复制(异步)
hyper replication
可以实现存储层容灾
三、FS的DHT算法
DHT(分布式哈希表,Distrubuted Hash Table)
111 698d51a19d8a121ce581499d7b701668
112 7f6ffaa6bb0b408017b62254211691b5
将十进制的数,转化为2的128次方的数,就可以实现平均切随机
一个存储池对应一个DHT环(逻辑)
读写流程:
1.scsi流交给vbs--->vbs转换scsi流为key-value
2.对key值进行--->hash寻址
目的:将主机下发的IO平均且随机的落到存储池各个OSD对应硬盘上
也就是为了实现IO 的负载均衡
3.经过hash得到一个2的32次方的数值--->模运算-->得到patition
目的:缩减表的尺度,加速查找DHT环
4.查询由MDC维护的映射表记录的是patition和osd的关系patition--->得到osd
目的:解决坏盘或者扩容场景,准确定位patition对应的osd位置
5.osd做key-value到iscsi流的转化,做磁盘的读写操作
四、存储池和卷
存储池是由一组服务器本地硬盘构成,硬盘类型相同、容量相同、参数相同等限制(参考产品文档)
主存类型:SATA机械 SAS机械 SAS-SSD SATA-SSD NVME SSD盘、SSD卡
一块硬盘只能属于一个存储池
一个存储池可以划多个卷(划卷依赖vbs)
一个卷只能属于一个存储,不能跨存储池
卷可以通过scsi挂载给vbs或者iscsi映射给业务主机使用
一个主机可以使用多个卷,多个卷可以来自不同存储池
五、FS的可靠性和安全级别
可靠性
副本机制:
2副本--50% 3副本--33.3%
EC机制: M=2,3,4 N最大22
EC(Erusure code)算法,分布式raid算法,可以跨界点raid
N+M 坏M块硬盘或者M个节点数据不丢失,业务不中断
N是数据分片
M是校验分片
N+M:B 坏M块硬盘或者B=1个节点数据不丢失,业务不中断
22+2保护 高达91%空间利用率
安全级别
FSM配置界面创建存储池仅支持服务器级和机柜级
服务器级安全:数据副本或者EC的数据分片一定不会放在同一个服务器节点内
机柜级安全:数据副本或者EC的数据分片一定不会放在同一个机柜内
机房级安全:数据副本或者EC的数据分片一定不会放在同一个机房内
不同的存储池可配置不同的数据保护方式和安全级别
六、VBS结构
scsi:将内核态VSC模块的scsi流引入VBS用户态
VBP:scsi流转换成key-value
client:key--hash---mod--patition--查io-view--主OSD 走存储网络平面将io流转发至主OSD
VBM:卷和快照生命周期管理操作 创建卷、挂载卷、卸载卷、查询卷、删除卷、创建快照、删除快照、基于快照创建卷等
hearbeat:心跳模块 通过存储平面与MDC交互心跳包 使MDC维持VBS view状态视图
七、OSD结构
RSM:复制协议实现。
SNAP:实现卷与快照的IO功能、磁盘空间的管理。
CACHE:实现cache功能。
AIO:实现异步IO下发到底层SMIO模块和通过调用SMIO接口来监控介质故障。
SMIO:下发到IO到实际的物理介质、监控物理介质故障、获取磁盘信息。
八、FS的IO流程
1)写IO
APP--》OS--》scsi/iscsi---》VSC内核模块接收---》scsi initiator--》scsi target---》VBP(LUN ID/LBA ID/length-->key data-->value)
---》client(key--hash--mod--patition--查io view--主OSD)---》主OSD(key--hash--mod--patition--查patition view--备OSD)--》主OSD一方面下发写IO到本端cache,一方面通过RSM复制IO到备OSD---》主备OSD同步写cache成功--》由主OSD返回VBS写成功(回写),VBS返回APP写成功。
2)读IO
APP--OS--scsi/iscsi---VSC内核模块接收---scsi initiator--scsi target---VBP(LUN ID/LBA ID/length-->key data-->value)---client(key--hash--mod--patition--查io view--主OSD)---主OSD
1、主OSD正常,先读cache,如果cache读命中,返回读成功,如果未读命中,主OSD向主存disk查询读数据。
2、主OSD异常,MDC会检测硬盘异常触发退盘,修改视图(OSD view IO view Patition view),指导VBS引流到备OSD(新主OSD读数据),先读cache,如果cache读命中,返回度成功,如果未读命中,主OSD向主存disk查询读数据。
九、ZK的作用
Zookeeper(简称ZK)分布式服务框架主要用来解决分布式应用中经常遇到的,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等,ZK主要工作包括三项:
MDC主备管理:
MDC采用一主两备部署模式;在MDC模块进程启动后,各个MDC进程会向ZK注册选主,先注册的为主MDC;运行过程中,ZK记录MDC主备信息,并通过心跳机制监控MDC主备健康状况,一旦主MDC进程故障,会触发MDC重先选主。
数据存储
在MDC运行过程中,会生成各种控制视图信息,包括目标视图、中间视图、IO视图信息等,这些信息的保存、更新、查询、删除操作都通过ZK提供的接口实现。
数据同步
数据更新到主ZK,由主ZK自动同步到备ZK,保证主备ZK数据同步,一旦ZK发生主备切换,业务不受影响
为什么奇数部署ZK
在ZK集群中,如果大于等于半数ZK节点宕机那么整个集群不可用
比如部署4个ZK,是只允许坏一个ZK
部署3个ZK,也是只允许坏一个ZK
部署3台和4台都是只允许一台宕机,既然是同样的容错能力,那么考虑节省服务器资源,所以推荐奇数部署
帮助MDC选主
持久保存MDC管理的系统元数据
帮助MDC实现元数据同步
十、FS的视图
VBS view VBSid---VBS status
OSD view OSDid---OSD status
IO view patitionid----主OSD
Patition view patitionid---主OSD/备OSD--主备OSD的status
视图持久化保存在ZK盘或者ZK分区
MDC所在主机内存缓存所有视图
VBS所在主机内存缓存io view
OSD所在主机内存缓存 patition view
十一、FS组件交互过程
1)创建控制集群 自动ZK 控制MDC
ZK启动形成ZK集群,MDC找ZK注册,最先注册成功的为主MDC,MDC与ZK位置心跳,MDC通过ZK形成集群关系
主MDC故障,其他MDC与ZK联动重新注册选举主MDC
备MDC故障,上报FSM,管理员看到进程异常告警及时处理
2)创建存储池
主MDC确定是否需要启动新的归属MDC管理该存储,或者用现有MDC作为该存储池归属MDC管理存储池
如果归属MDC故障,由主MDC决定归属MDC的接替者
一个归属MDC最多管理2个存储池
启动OSD,OSD向MDC查询自己的归属MDC,向归属MDC上报状态,维持心跳
如果OSD异常,超过5S,归属MDC检测OSD异常修改视图,数据引流、数据重建
3)创建块客户端
VBS启动时查询主MDC,向主MDC注册
主MDC维护了一个活动VBS的列表,主MDC同步VBS列表到其它MDC,以便MDC能将OSD的状态变化通知到VBS
VBS向主MDC确认自己是否为leader(最先注册成功的为主)
VBS从主MDC获取IO View
主VBS向OSD获取元数据,其它VBS向主VBS获取卷的元数据。