searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

DPU上virtio_blk的复位恢复方法--讲解1

2024-11-04 09:32:43
26
0

一、名词解释

FPGAFiled Programmable Gate Array,现场可编程逻辑阵列):是一种可以重构电路的芯片,是一种硬件可重构的体系结构。

CPU(Central Processing Unit中央处理器):作为计算机系统运算和控制核心,是信息处理、程序运行的最终执行单元

DPU (Data Processing Unit,数据处理装置): 数据中心场景中的专用处理器,为高带宽、低延迟、数据密集的计算场景提供计算引擎。

SOC(System on Chip片上系统):称为系统级芯片,也有称片上系统,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容。

DDR(Double Data Rate Synchronous Dynamic Random Access Memory双数据率同步动态随机存储器):一种存储芯片,与传统的单数据速率相比,DDR技术实现了一个时钟周期内进行两次读/写操作,即在时钟的上升沿和下降沿分别执行一次读/写操作从而提高数据传输速率和内存带宽

PCIE(Peripheral Component Interconnect Express周边设备高速连接标准):是一种端对端的互连协议,提供了高速传输带宽的解决方案。目前PCIe已经发展到第四代PCIe4.0, 每一代的发展,最明显的特征就是速率翻倍。

virtio_blk(virtual input/output block,虚拟I/O块):一种基于virtio标准的块设备虚拟化方案,它通过在虚拟机和宿主机之间建立一个高效的通信通道,实现了块设备的IO虚拟化

 

二、技术背景

      现在社会技术发展,对大数据处理场景变多,需求增加,如云应用场景,越来越多的用户使用云应用相关的产品,比如云电脑、云计算等,既节约成本,又方便快捷,而且便于管理,使用也更加安全。在这种需求快速增长的同时,对底层传输设备的性能要求越来越高,如网络和存储数据的传输,需要具备高带宽,低延迟,高可靠性等特性。

      在此强劲的需求下,促进了基础硬件设备的发展,例如智能网卡等诞生,其主要的作用,就是将CPU的一些工作卸载到智能网卡DPU上,以节省CPU的核数开销,并且智能网卡DPU可以支持虚拟化设备数据传输,一个物理机通过智能网卡DPU上的虚拟化处理,可以支持几百上千个用户同时使用,大大提高设备的利用率。并且智能网卡DPU具有数据传输加速的特性,使用PCIE接口与CPU相连接,使用光口器件与外部设备连接,具有高带宽,低延迟的特点,为大数据的加速传输处理起到了重要的作用。

      在此背景下,有关存储数据的传输技术也应运而生,智能网卡DPU设备针对存储数据的传输,主要使用的是virtio_blk技术,他是一种高效的块存储挂载的方法。通过智能网卡DPU实现virtio_blk机制,这样在主机系统中不需要挂载很多的远端磁盘,而是由智能网卡DPU直接完成映射,更加安全。

      在智能网卡DPU中,需要实现存储数据的无损传输和纠错,确保智能网卡DPU的存储数据加速机制稳定可靠。

      由于基于virtio_blk机制的存储虚拟化方案,将virtio_blk卸载到智能网卡DPU中,而virtio_blk没有重传机制,会存在一种非常严重的情况,如果存储数据在智能网卡DPU中发生异常丢失或者错误,会导致与其连接的CPU的virtio_blk驱动出现异常卡住,影响整个系统的稳定性。

      DPU整体设计架构示意图如下:

      如上图所示,此智能网卡主要为FPGA+SOC组成,通过PCIE总线与外部的host主机相连接,通过SFP模块,使用光模块光纤与远端的设备相连接。智能网卡DPU承前启后,作为host与远端设备的通信的桥梁。 

      后文将主要介绍基于virtio_blk的复位及恢复操作,如何达到异常情况的纠错和恢复

0条评论
0 / 1000
l****n
9文章数
0粉丝数
l****n
9 文章 | 0 粉丝
原创

DPU上virtio_blk的复位恢复方法--讲解1

2024-11-04 09:32:43
26
0

一、名词解释

FPGAFiled Programmable Gate Array,现场可编程逻辑阵列):是一种可以重构电路的芯片,是一种硬件可重构的体系结构。

CPU(Central Processing Unit中央处理器):作为计算机系统运算和控制核心,是信息处理、程序运行的最终执行单元

DPU (Data Processing Unit,数据处理装置): 数据中心场景中的专用处理器,为高带宽、低延迟、数据密集的计算场景提供计算引擎。

SOC(System on Chip片上系统):称为系统级芯片,也有称片上系统,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容。

DDR(Double Data Rate Synchronous Dynamic Random Access Memory双数据率同步动态随机存储器):一种存储芯片,与传统的单数据速率相比,DDR技术实现了一个时钟周期内进行两次读/写操作,即在时钟的上升沿和下降沿分别执行一次读/写操作从而提高数据传输速率和内存带宽

PCIE(Peripheral Component Interconnect Express周边设备高速连接标准):是一种端对端的互连协议,提供了高速传输带宽的解决方案。目前PCIe已经发展到第四代PCIe4.0, 每一代的发展,最明显的特征就是速率翻倍。

virtio_blk(virtual input/output block,虚拟I/O块):一种基于virtio标准的块设备虚拟化方案,它通过在虚拟机和宿主机之间建立一个高效的通信通道,实现了块设备的IO虚拟化

 

二、技术背景

      现在社会技术发展,对大数据处理场景变多,需求增加,如云应用场景,越来越多的用户使用云应用相关的产品,比如云电脑、云计算等,既节约成本,又方便快捷,而且便于管理,使用也更加安全。在这种需求快速增长的同时,对底层传输设备的性能要求越来越高,如网络和存储数据的传输,需要具备高带宽,低延迟,高可靠性等特性。

      在此强劲的需求下,促进了基础硬件设备的发展,例如智能网卡等诞生,其主要的作用,就是将CPU的一些工作卸载到智能网卡DPU上,以节省CPU的核数开销,并且智能网卡DPU可以支持虚拟化设备数据传输,一个物理机通过智能网卡DPU上的虚拟化处理,可以支持几百上千个用户同时使用,大大提高设备的利用率。并且智能网卡DPU具有数据传输加速的特性,使用PCIE接口与CPU相连接,使用光口器件与外部设备连接,具有高带宽,低延迟的特点,为大数据的加速传输处理起到了重要的作用。

      在此背景下,有关存储数据的传输技术也应运而生,智能网卡DPU设备针对存储数据的传输,主要使用的是virtio_blk技术,他是一种高效的块存储挂载的方法。通过智能网卡DPU实现virtio_blk机制,这样在主机系统中不需要挂载很多的远端磁盘,而是由智能网卡DPU直接完成映射,更加安全。

      在智能网卡DPU中,需要实现存储数据的无损传输和纠错,确保智能网卡DPU的存储数据加速机制稳定可靠。

      由于基于virtio_blk机制的存储虚拟化方案,将virtio_blk卸载到智能网卡DPU中,而virtio_blk没有重传机制,会存在一种非常严重的情况,如果存储数据在智能网卡DPU中发生异常丢失或者错误,会导致与其连接的CPU的virtio_blk驱动出现异常卡住,影响整个系统的稳定性。

      DPU整体设计架构示意图如下:

      如上图所示,此智能网卡主要为FPGA+SOC组成,通过PCIE总线与外部的host主机相连接,通过SFP模块,使用光模块光纤与远端的设备相连接。智能网卡DPU承前启后,作为host与远端设备的通信的桥梁。 

      后文将主要介绍基于virtio_blk的复位及恢复操作,如何达到异常情况的纠错和恢复

文章来自个人专栏
紫金DPU存储卸载硬件实现有关技术探讨
9 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
1
1