总体目标

边缘容器平台为了增加产品的竞争力，也支持了GPU虚拟化能力， 因此需要调研业界的GPU虚拟化产品发展趋势， 了解它们优势和不足。

1. 主要测试了理想GPU虚拟化的技术方案
2. 对比业界的GPU虚拟化优劣
3. GPU池化调研

为什么要实现GPU虚拟化

优势在于：

（1）集群中可以运行更多任务，通过分时复用，减少抢占。

（2）提高资源利用率（GPU/显存）；GPU共享后，总利用率接近运行任务利用率之和，减少了资源浪费。

（3）提高服务质量(QoS)，增强公平性，因为多个任务即可以同时开始享受资源；也可以单独保证某一个任务的

（4）减少任务排队时间，减小总任务的销号时间；假设两个任务结束时间分别是x,y，通过GPU共享，两个任务全部结束的时间小于x+y。

GPU资源池化技术的演进

1. 简单虚拟化 ✅
   
   
2. 任意虚拟化 ✅
   
   
3. 远程调用 中间过程
   
   
4. 资源池化 最终目标

什么是GPU远程调用

GPU远程调用是通过rCUDA实现的， rCUDA中间件架构图:

从上图可以了解到: 

1. rCUDA  (remtoe CUDA）是Client-Server架构的服务。
2. rCUDA 实现了RPC(CUDA接口) ，需要在服务器端和你的客户端机器部署其软件。
3. rCUDA 是CUDA的远程调用版本，在本地无GPU的主机上远程访问有CUDA环境的GPU主机。

进一步可参考  http://rcuda.net/

rCUDA 通信方式有2种:

RDMA 优势:  直接进行数据传输，速度快，不需要CPU参与，RDMA网卡接替了CPU的工作，节省下来的资源可以进行其它运算和服务。

那么阶段4是GPU池化，池化又是什么呢？有什么技术难点呢？

什么是GPU池化

GPU池化（GPU-Pooling）的定义:  通过对物理GPU进行软件定义，融合了GPU虚拟化、多卡聚合、远程调用、动态释放等多种能力，解决GPU使用效率低和弹性扩展差的问题。 如下图所示，在不同的抽象层次，将需要加速的应用转发(Forwarding)到GPU资源池中。总的来说，越靠底层的转发性能损失越小，可操作的范围越大；但同时，编程量也越大,也越难。

GPU池化的难点:

1. GPU架构种类繁多，API 繁多的问题，运行时除了 libcudart.so 这个动态库，还涉及cuDNN、cuBLAS、cuFFT 等一系列动态库和 API，涉及数千个不同的 API 接口。
   更重要的是 CUDA 运行时是闭源的，内部实现逻辑无从探究 ， 需要进行反向工程。具体来说目前的GPU架构:  F架构， K架构， P架构，V架构， T架构，A架构。

2. 架构调整，需要抽象出一个中间池化层:  统一API，屏蔽不同位置（本地，远端），不同类型的GPU

3.  比GPU虚拟化进一步的，GPU池化对对context管理的需求将更加严格。因此如何利用Context（时分复用）和Stream（空分复用）实现用户进程的隔离，用户购买的隔离，计费隔离，GPU算力的量化隔离将是新的问题。

   以下是参考了知乎上博主稻壳特溯 对GPU-POOL的构思

业界的GPU虚拟化方案对比

最值得关注的 趋动科技 和 百度的GPU虚拟化方案

OrionX(猎户座) 虚拟化方案

架构	Orion Controller Orion Server Orion Client + license授权模式
典型场景1	GPU池化优化的场景一：多个在线推理混合部署   OrionX池化能力关键词：化整为零，动态释放。
典型场景2	GPU池化优化的场景二：在/离线推理混合部署，算力超分，昼夜复用 OrionX池化能力关键词：化整为零，动态释放，算力超分，任务优先级。
典型场景3	GPU池化优化的场景三：训练/推理混合部署，显存扩展，分时复用 OrionX池化能力关键词：化整为零，动态释放，算力超分，显存超分，任务优先级。 核心能力解读: 化整为零: 虚拟化 动态释放: 在线/离线混合部署( 不算虚拟化技术) 算力超分: over-commit ， 类似CPU 显存超分: 显存不够，内存来凑 任务抢占: 高优先级可抢占，算例分配

百度的GPU虚拟化方案

边缘容器产品ECK中的vGPU虚拟化能力汇总

[root@fj-xiamen-4 home]# cat gpu-virtual.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: cuda-gpu33
spec:
  containers:
  - name: cuda-gpu
    image: "docker.io/anibali/pytorch:1.11.0-cuda11.5-ubuntu20.04"
    command: ["/bin/bash"]
    args: ["-c", 'while true; do echo "Hello World"; sleep 10;done']
    env:
    - name: vvmemory
      value: "1"
    resources:
      limits:
      ideal.com/gpu: 1
        ideal.com/vcuda-core: "10"
        ideal.com/vcuda-memory: "100"
      requests:
       ideal.com/gpu: 1
        ideal.com/vcuda-core: "10"
        ideal.com/vcuda-memory: "100"
[root@fj-xiamen-4 home]#