一、裸金属内 RDMA 通信实现原理
RDMA（Remote Direct Memory Access，远程直接内存访问）允许一台计算机直接访问另一台计算机的内存，而无需涉及操作系统内核或其他中间层。在裸金属环境中，RDMA 通信的实现主要基于以下原理：
-
硬件支持
- 网络适配器：通常使用支持 RDMA 的网络适配器，如 InfiniBand 网卡或支持 RoCE（RDMA over Converged Ethernet）的以太网卡。这些适配器具有专门的硬件引擎，能够直接在内存和网络之间传输数据，绕过 CPU 和操作系统内核。
- 内存注册：在通信之前，应用程序需要将需要进行 RDMA 访问的内存区域注册到网络适配器。这使得适配器能够直接访问这些内存区域，而无需通过操作系统的内存管理机制。
-
通信模式
- 单边操作（One-sided Operations）：发送方可以直接读取或写入接收方的内存，而无需接收方的明确参与。例如，发送方可以使用 RDMA Write 操作直接将数据写入接收方的内存，或者使用 RDMA Read 操作读取接收方的内存内容。
- 双边操作（Two-sided Operations）：双方通过发送和接收消息来协调通信。例如，发送方发送一个 RDMA Send 请求，接收方接收这个请求并进行相应的处理。
-
队列对（Queue Pairs）
- 每个 RDMA 连接由一对发送队列（Send Queue）和接收队列（Receive Queue）组成，称为队列对（Queue Pair，QP）。发送队列用于存储待发送的请求，接收队列用于存储接收到的请求。
- 应用程序通过向发送队列提交请求来发送数据，网络适配器会自动处理这些请求并将数据传输到目标计算机。接收方的网络适配器会将接收到的数据放入接收队列，应用程序可以从接收队列中读取数据。
-
内存保护和地址转换
- 为了确保安全，RDMA 通信需要进行内存保护。网络适配器会验证发送方对接收方内存的访问权限，防止非法访问。
- 同时，由于不同计算机的内存地址空间是独立的，需要进行地址转换。网络适配器通常使用全局唯一的标识符（GUID）和本地内存地址来确定远程内存的位置。
二、裸金属集群控制
在裸金属集群中，RDMA 可以用于实现高效的集群控制和协同工作。以下是一些常见的裸金属集群控制方法：
-
资源管理
- 利用 RDMA 可以快速地在节点之间分配和回收资源，如内存、CPU 时间和存储。例如，一个管理节点可以使用 RDMA Write 操作直接将任务分配信息写入工作节点的内存，工作节点可以立即开始执行任务。
- 通过 RDMA 可以实时监控节点的资源使用情况，以便进行动态资源调整。
-
任务调度
- 管理节点可以使用 RDMA 快速地将任务发送到工作节点，并接收任务执行结果。工作节点可以通过 RDMA Notify 操作通知管理节点任务完成情况。
- 基于 RDMA 的任务调度可以实现低延迟和高吞吐量，提高集群的整体性能。
-
分布式存储
- RDMA 可以用于实现分布式存储系统，如 Ceph、GlusterFS 等。节点之间可以使用 RDMA 进行快速的数据传输和同步，提高存储系统的性能和可靠性。
- 例如，在分布式文件系统中，一个节点可以使用 RDMA Read 操作直接从其他节点读取文件数据，而无需通过传统的网络文件系统协议。
-
集群监控和管理
- 利用 RDMA 可以实现对集群节点的实时监控和管理。管理节点可以使用 RDMA 定期读取工作节点的状态信息，如 CPU 使用率、内存使用情况、网络带宽等。
- 如果发现节点出现故障或异常情况，管理节点可以使用 RDMA 快速地进行故障恢复和重新分配任务。
传统以太网socket--由用户态拷贝到内核态，在内核态中由cou负责添加报文头，进行封装，添加校验信息，接着以太网卡通过DMA读取到内核态数据拷贝到网卡上，再由发送端网卡发送给接收端网卡，接收端网卡接收到数据后拷贝到内核态，由cpu完成数据解包校验，最后拷贝到用户空间，由用户使用数据。
而RDMA相比于以太网socket的优势在于：
①、低延迟
- 绕过内核：RDMA 允许应用程序直接访问远程计算机的内存，无需操作系统内核的干预。而以太网 socket 通信通常需要经过操作系统的内核协议栈，包括网络层、传输层等，这会引入额外的延迟。
- 零拷贝：RDMA 可以实现数据的直接传输，从源内存到目标内存，无需在中间进行数据拷贝。而以太网 socket 通信通常需要在用户空间和内核空间之间进行多次数据拷贝，增加了延迟。
- 硬件加速：支持 RDMA 的网络适配器通常具有专门的硬件引擎，可以加速数据传输和处理，进一步降低延迟。
- 直接内存访问：RDMA 能够充分利用硬件的直接内存访问能力，实现高速的数据传输。相比之下，以太网 socket 通信可能受到操作系统内核和网络协议栈的限制，无法充分发挥网络的带宽潜力。
- 并行传输：RDMA 支持多个并发的数据传输操作，可以同时进行多个数据传输请求，提高了带宽利用率。而以太网 socket 通信通常是串行的，一次只能处理一个连接或请求。
- 高效的传输协议：RDMA 使用专门的传输协议，如 InfiniBand 的 Reliable Connected（RC）或 Unreliable Datagram（UD）协议，这些协议经过优化，能够在高带宽网络环境下提供高效的数据传输。
- 卸载数据传输：RDMA 可以将数据传输的任务卸载到网络适配器上，由硬件来处理数据的传输和接收。这大大减轻了 CPU 的负担，使 CPU 能够专注于其他计算任务。而以太网 socket 通信通常需要 CPU 参与数据的拷贝和处理，消耗大量的 CPU 资源。
- 异步操作：RDMA 支持异步操作，应用程序可以在发起数据传输后继续执行其他任务，无需等待数据传输完成。当数据传输完成时，网络适配器会通过中断或事件通知应用程序。这种异步操作模式可以提高系统的并发性和响应性，减少 CPU 的空闲等待时间。
- 硬件可靠性：支持 RDMA 的网络适配器通常具有高可靠性的硬件设计，包括错误检测和纠正、链路冗余等功能。这些功能可以确保数据传输的可靠性，减少数据丢失和错误的可能性。
- 传输协议可靠性：RDMA 传输协议通常提供可靠的数据传输机制，如确认和重传，以确保数据的完整性和正确性。而以太网 socket 通信通常依赖于 TCP 协议的可靠性机制，但在高负载或网络拥塞的情况下，TCP 可能会出现性能下降和丢包的问题。
- 简洁的 API：RDMA 提供了简洁的编程接口，使开发人员能够轻松地实现高性能的远程内存访问。相比之下，以太网 socket 编程需要处理复杂的网络协议和数据格式，编程难度较大。
- 跨平台性：虽然 RDMA 最初是为高性能计算和数据中心环境设计的，但现在也有许多跨平台的 RDMA 实现，如 RoCE（RDMA over Converged Ethernet），可以在标准以太网环境下使用。这使得 RDMA 可以在不同的操作系统和硬件平台上实现，提高了应用程序的可移植性。
总之，裸金属内 RDMA 通信通过硬件支持、特定的通信模式和队列对机制实现了高效的直接内存访问。在裸金属集群中，RDMA 可以用于资源管理、任务调度、分布式存储和集群监控等方面，提高集群的性能和可靠性。
