本文详细描述基于RoCE的OpenMPI的环境部署步骤及其背后逻辑，并作简单测试验证，方便基于OpenMPI的高性能应用的开发和测试。

本文描述了一种在不重编内核，不修改系统，不影响其他模块的情况下，采用多次分配，拼接内存的方式，满足内核模块大内存的需求，对于开机自起的内核模块或者驱动，成功率极高。

本文先介绍相关技术背景和问题，然后阐述了自研RDMA的实现技术方案

有些时候我们为了获取更高的性能，不仅需要一个线程在指定的cpu上跑，还需要这个线程独享这个cpu，即其他的线程不要在这个cpu上跑。我们可以利用cgroup机制，将一组线程和一组cpu核建立双向绑定关系，即这组线程只能跑在这组cpu核上，同时这组cpu核上也只允许跑这组线程。每个线程再通过调用sched_setaffinity或类似的库函数达到独享cpu的目的。

UCX是Unified Communication X的简称，主要提供RDMA通信的高级API以加速应用开发，在隐藏底层细节的同时还实现了一些优化和最佳实践以保持高性能和可扩展。除了RDMA（IB和RoCE），UCX也支持包括TCP，GPU和共享内存等在内的其他传输层。UCX是一个开源项目，可以通过https://github.com/openucx/ucx访问。