云容器引擎服务提供cstor-csi插件，支持通过LVM方式，基于容器集群节点上的硬盘，虚拟化成一个小型存储池，当需要特定份额的存储时，从中划分出对应份额的磁盘供业务容器使用。
使用LocalPV、HostPath都可以实现Pod对主机存储空间的访问，但均具有一定局限性，比如无法做到容量隔离、无法限制IOPS/吞吐等、无法直观了解各节点存储空间余量从而进行合理调度。基于此，云容器引擎提供LVM数据卷方案，以解决上述问题。
前提条件
- 已创建容器集群
- 该功能使用风险、限制较多，默认控制台不对外开放。如需使用，请通过工单方式联系相关人员添加功能白名单。
- 安装存储插件cstor-csi，插件配置参数localStorPlugins开启lvm插件。如插件已安装，可以通过“插件实例”——“cstor-csi”——“更新”，配置localStorPlugins: "lvm,localpv"，实现插件配置更新。
使用限制
- cstor-csi插件安装版本要求3.4.0及以上；
- 如果节点池默认配置数据盘，那么新增节点的第一块数据盘（供容器运行时和Kubelet组件使用）不支持导入为存储池。
- 创建存储池将占用磁盘设备，必要时会进行格式化操作。为避免数据丢失，请务必确认磁盘设备存在，并可用于存储池。
- 存储池配置或者修改，默认10min生效，如需调整，可以更新cstor-csi插件配置参数configEffectInterval实现。
- 存储池不支持缩容和删除；如果删除节点上存储池的磁盘，会导致存储池异常。
- LVM本地存储卷，不支持数据的跨节点迁移，不适合在高可用场景中使用。
- 请勿自行对节点上的本地存储资源（例如VG，PV，LV）以及插件运行需要的CRD（包括NodeStorageManager、CStorLocalStorage）进行修改或删除；
流程概述
| 步骤 |
操作 |
|---|---|
| 1 | 确定要使用LVM数据卷的节点以及磁盘设备。推荐对指定节点新增数据盘，专用于存储池。 |
| 2 | 创建本地存储池 |
| 3 | 创建本地存储类StorageClass |
| 4 | 创建本地存储类型PVC |
| 5 | 基于已创建PVC，创建工作负载 |
通过控制台使用LVM动态存储卷
1、创建存储池
- 登录“云容器引擎管理控制台；
- 在集群列表页点击进入指定集群；
- 进入主菜单“存储”——“本地存储池”，单击左上角“创建存储池”；
- 在创建对话框，配置存储池相关参数。配置项说明如下：
| 配置项 |
说明 |
|---|---|
| 名称 | 存储池名称 |
| 存储类型 | 这里选择LVM |
| 选择节点 | 选择用于添加到存储池的节点。 |
| 磁盘设备 | 选择用于添加到存储池的磁盘设备。 说明： 创建存储池将占用磁盘设备，必要时会进行格式化操作。为避免数据丢失，请务必确认磁盘设备存在，并可用于存储池 |
参数配置完成后，点击“确定”。创建成功后，可以在存储池列表查看。
2、创建存储类（StorageClass）
- 登录“云容器引擎管理控制台；
- 在集群列表页点击进入指定集群；
- 进入主菜单“存储”——“存储类”，单击左上角“创建”；
- 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下：
| 配置项 | 说明 |
|---|---|
| 名称 | StorageClass的名称。 |
| 存储类型 | 当前支持云盘、弹性文件、对象存储、本地存储、并行文件，这里选择本地存储。 具体创建页中展示的存储类型由当前资源池支持情况决定。 |
| 存储驱动 | 对应StorageClass yaml中provisioner，值为local.csi.cstor.com |
| 回收策略 | 回收策略，默认为Deleted。Retained（保留）：用户可以手动回收资源。当PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 |
| 绑定策略 | 绑定策略，默认为Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。WaitForFirstConsumer模式： 该模式将延迟 PV的绑定和制备，直到使用该 PVC的 Pod 被创建。 PV会根据 Pod 调度约束指定的拓扑来选择或供应。 |
| 参数 | 本地存储类型：参数键为type；该场景下选择lvm。存储池：参数键为baseStor，选择上一步创建的存储池。 挂在类型：参数键为csi.storage.k8s.io/fstype，支持参数值包括ext4、xfs。 |
| 挂载选项 | 挂载参数，用户可根据自己的情况实际定制相关参数。 |
- 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。
2、创建持久卷声明（PVC）
- 进入主菜单“存储”——“持久卷声明”，单击左上角“创建持久卷声明”；
- 在创建对话框，配置持久卷声明PVC的相关参数。配置项说明如下：
| 配置项 |
说明 |
|---|---|
| 名称 | PVC的名称 |
| 存储声明类型 | 当前支持云盘、弹性文件、对象存储、本地存储、并行文件，这里选择本地存储。具体创建页中展示的存储类型由当前资源池支持情况决定。 |
| 分配模式 | 这里选择“使用存储类” |
| StorageClass名称 | 选择上一步创建的StorageClass |
| 容量 | 根据业务需求自定义容量 |
| 卷模式 | * 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。* 块设备（Block）：这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。 |
| 访问模式 | * ReadWriteOnce：卷可以被一个节点以读写方式挂载 |
- 参数配置完成后，点击“确定”。创建成功后，可以在持久卷声明列表查看。
- 进入持久卷声明列表页，等待PVC状态为“已绑定” 。此时，进入主菜单“存储”——“持久卷“，可以看到对应的PV创建 。
如果PVC一直未绑定，可以查看进入对应PVC详情页查看事件，或者查看cstor-csi日志进行定位。
3、创建工作负载
- 登录“云容器引擎”管理控制台；
- 在集群列表页点击进入指定集群；
- 进入主菜单“工作负载”——“有状态”，单击左上角“创建SatefulSet”；
- 在创建对话框，数据卷栏中，选择添加数据卷，卷类型选择“使用已有PVC”，操作栏选择“添加已有PVC”；
- 在实例内容器栏，为容器设置挂载点。选择添加挂载点，选择数据卷为上一步创建，根据需要配置容器路径和权限；
- 所有的信息都配置完成后，单击 “提交” 。
创建成功后，您就可以正常使用数据卷。
通过kubectl命令行使用LocalPV动态存储卷
1、创建存储类（StorageClass）
- 使用kubectl连接集群，创建示例yaml文件sc-example.yaml：
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: cstor-csi-local-lvm-sc
provisioner: local.csi.cstor.com
parameters:
# 产品类型
type: lvm
# 所需挂载文件系统，当前支持ext4和xfs
csi.storage.k8s.io/fstype: xfs
# 基础存储
baseStor: vg2
reclaimPolicy: Delete
allowVolumeExpansion: true
mountOptions:
- discard
- 执行以下命令，创建StorageClass
kubectl apply -f sc-example.yaml
-
查看创建的StorageClass：
登录“云容器引擎”管理控制台；
在集群列表页点击进入指定集群；
进入主菜单“存储”——“存储类”，在存储类列表查看。
2、创建持久卷声明（PVC）
- 使用kubectl连接集群，创建示例yaml文件pvc-example.yaml：
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: cstor-pvc-local-lvm
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 2Gi
storageClassName: cstor-csi-local-lvm-sc
- 执行以下命令，创建PVC
kubectl apply -f pvc-example.yaml
- 查看创建的PVC：
登录“云容器引擎”管理控制台；
在集群列表页点击进入指定集群；
进入主菜单“存储”——“持久卷声明”，在存储类列表查看。
3、创建工作负载
- 使用kubectl连接集群，创建示例yaml文件sts-example.yaml：
apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
name: "lvm-sts"
namespace: "default"
spec:
podManagementPolicy: "OrderedReady"
replicas: 1
revisionHistoryLimit: 10
selector:
matchLabels:
name: "lvm-sts"
serviceName: ""
template:
metadata:
labels:
app: ""
ccse_app_name: ""
kubernetes.io/qos: "None"
name: "lvm-sts"
source: "CCSE"
spec:
containers:
- image: "nginx:1.23.2-alpine"
imagePullPolicy: "IfNotPresent"
name: "container1"
resources:
limits:
cpu: "100m"
memory: "128Mi"
requests:
cpu: "100m"
memory: "128Mi"
terminationMessagePath: "/dev/termination-log"
terminationMessagePolicy: "File"
volumeMounts:
- mountPath: "/tmp"
name: "volume1"
dnsPolicy: "ClusterFirst"
restartPolicy: "Always"
schedulerName: "default-scheduler"
securityContext: {}
terminationGracePeriodSeconds: 30
volumes:
- name: "volume1"
persistentVolumeClaim:
claimName: "cstor-pvc-local-lvm"
updateStrategy:
rollingUpdate:
partition: 0
type: "RollingUpdate"
- 执行以下命令，创建StatefulSet
kubectl apply -f sts-example.yaml
- 查看创建的有状态负载：
登录“云容器引擎”管理控制台；
在集群列表页点击进入指定集群；
进入主菜单“工作负载”——“有状态”，在存储类列表查看。
验证数据持久化
-
登录“云容器引擎”管理控制台；
-
在集群列表页点击进入指定集群；
-
进入主菜单“工作负载”——“有状态”，进入负载详情；
-
在Pod列表页，选择“远程登录”，进入到容器内执行以下命令：
1、向/tmp 目录下写一个文件，执行echo "Hello World" > /tmp/test.log
2、查看/tmp目录下文件，执行ls /tmp，预期结果如下:
lost+found test.log
- 退出pod的“远程登录”，对上一步中的Pod执行“销毁重建”，等待Pod重新运行正常；
- 对新建Pod，继续执行“远程登录”，进入到容器内查看数据。执行cat /tmp/test.log，预期结果如下：
Hello World
- 以上步骤说明，pod删除重建后，数据仍然存在，说明数据可持久化保存。
