使用对象存储静态存储卷,即使用预先在对象存储控制台已创建Bucket,通过手动创建PV指定已有Bucket,创建PVC时使用已有PV的方式,实现容器内挂载对象存储。
该模式下需要用户自建对象存储Bucket及PV资源,一定程度上增加操作和管理复杂性,一般推荐使用动态创建存储的方式。
前提条件
- 已创建容器集群
- 已在插件市场安装存储插件cstor-csi,且插件正常运行
- 容器集群所在资源池已开通对象存储服务
- 已在对象存储控制台创建Bucket
使用限制
参见“对象存储概述”——“使用限制”
通过控制台使用对象存储静态存储卷
1、创建保密字典
- 进入天翼云对象存储控制台,进入Access Key管理;
- 查看对象存储密钥,并记录;
- 登录“云容器引擎”管理控制台;
- 在集群列表页点击进入指定集群;
- 进入主菜单“配置管理”——“保密字典”,选择命名空间,单击左上角“创建”。
- 输入名称、内容,内容项变量名分别是AK、SK(变量名大写),变量值分别对象上一步中获取到的密钥;点击提交;
创建持久卷(PV)
- 登录“云容器引擎”管理控制台;
- 在集群列表页点击进入指定集群;
- 进入主菜单“存储”——“持久卷”,单击左上角“创建持久卷”;
在创建对话框,配置持久卷PV的相关参数。配置项说明如下:
配置项 说明 名称 PV的名称,以pvc开头。 持久卷类型 当前支持云盘、弹性文件和对象存储,这里选择对象存储。
具体创建页中展示的存储类型由当前资源池支持情况决定。存储驱动 采用默认CSI驱动。 访问模式 ReadWriteOnce:卷可以被一个节点以读写方式挂载ReadOnlyMany:卷可以被多个节点以只读方式挂载ReadWriteMany:卷可以被多个节点以读写方式挂载。 访问证书 选择命名空间、名称分别选择步骤1中保密字典所属命名空间及名称。对应StorageClass中参数键分别为:
csi.storage.k8s.io/node-publish-secret-namespace
csi.storage.k8s.io/node-publish-secret-namebucket名称 选择已创建bucket。 挂载选项 挂载参数,用户可根据自己的情况实际定制相关参数。 标签 用于对 PV 对象进行标记和分类的元数据属性,可以赋予 PV 以自定义的属性或标识。
说明静态导入场景下,回收策略均为默认Retain,cstor-csi不会删除数据。
- 参数配置完成后,点击“确定”。创建成功后,可以在持久卷列表查看,此时PV状态为“可用”
创建持久卷声明(PVC)
- 进入主菜单“存储”——“持久卷声明”,单击左上角“创建持久卷声明”;
- 在创建对话框,配置持久卷声明PVC的相关参数。配置项说明如下:
配置项 说明 名称 PVC的名称 存储声明类型 当前支持云盘、弹性文件和对象存储,这里选择对象存储。
具体创建页中展示的存储类型由当前资源池支持情况决定。分配模式 当前支持“使用存储类”和“已有存储卷”;这里选择“已有存储卷”。 持久卷名称 选择上一步创建的PV名称。
- 参数配置完成后,点击“确定”。创建成功后,可以在持久卷声明列表查看。
- 进入持久卷声明列表页,等待PVC状态为“已绑定” 。
3、创建工作负载
- 登录“云容器引擎”管理控制台;
- 在集群列表页点击进入指定集群;
- 进入主菜单“工作负载”——“有状态”,单击左上角“创建SatefulSet”;
- 在创建对话框,数据卷栏中,选择添加数据卷,卷类型选择“使用已有PVC”,操作栏选择“添加已有PVC”;
- 在实例内容器栏,为容器设置挂载点。选择添加挂载点,选择数据卷为上一步创建,根据需要配置容器路径和权限;
说明数据卷子路径:对象存储支持配置卷内子路径,实现一个共享卷挂载多个路径。
- 所有的信息都配置完成后,单击 “提交” 。
创建成功后,您就可以正常使用数据卷。
通过kubectl命令行使用对象存储静态存储卷
1、创建持久卷(PV)
- 使用kubectl连接集群,创建示例yaml文件pv-example.yaml:
apiVersion: v1
kind: PersistentVolume
metadata:
annotations:
pv.kubernetes.io/provisioned-by: zos.csi.cstor.com
name: pvc-{PV-NAME} #pv名称
spec:
accessModes:
- ReadWriteOnce #访问模式
capacity:
storage: 5Gi #容量
csi:
driver: zos.csi.cstor.com
nodePublishSecretRef:
name: {SECRET-NAME} #保密字典名称
namespace: {SECRET-NAMESPACE} #保密字典命名空间
volumeAttributes:
bucket: {BUCKET-NAME} #bucket名称
driverType: zos.csi.cstor.com
type: STANDARD #产品类型
volumeHandle: 0105-{PV-NAME-LENTH}-{PV-NAME} #PV-NAME-LENTH为PV-NAME长度的十六进制表示,比如PV-NAME是"zos-test-01",则PV-NAME-LENTH为0B
volumeMode: Filesystem
- 执行以下命令,创建PV
kubectl apply -f pv-example.yaml
- 查看创建的PV:登录“云容器引擎”管理控制台;在集群列表页点击进入指定集群;进入主菜单“存储”——“持久卷”,在持久卷列表查看。
2、创建持久卷声明(PVC)
使用kubectl连接集群,创建示例yaml文件pvc-example.yaml:
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
annotations:
volume.beta.kubernetes.io/storage-provisioner: zos.csi.cstor.com
name: {YOUR-PVC-NAME}
namespace: default
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 5Gi
volumeMode: Filesystem
volumeName: {YOUR-PV-NAME} #替换PV名称
- 执行以下命令,创建PVC
kubectl apply -f pvc-example.yaml
- 查看创建的PVC:登录“云容器引擎”管理控制台;在集群列表页点击进入指定集群;进入主菜单“存储”——“持久卷声明”,在列表查看。
3、创建工作负载
- 使用kubectl连接集群,创建示例yaml文件sts-example.yaml:
apiVersion: "apps/v1"
kind: "StatefulSet"
metadata:
name: "zos-test"
namespace: "default"
spec:
podManagementPolicy: "OrderedReady"
replicas: 1
revisionHistoryLimit: 10
serviceName: ""
template:
spec:
containers:
- image: "nginx:1.25-alpine"
imagePullPolicy: "IfNotPresent"
name: "container1"
resources:
limits:
cpu: "100m"
memory: "256Mi"
requests:
cpu: "100m"
memory: "256Mi"
terminationMessagePath: "/dev/termination-log"
terminationMessagePolicy: "File"
volumeMounts:
- mountPath: "/tmp"
name: "volume1"
subPath: "ccsetest"
dnsPolicy: "ClusterFirst"
restartPolicy: "Always"
schedulerName: "default-scheduler"
securityContext: {}
terminationGracePeriodSeconds: 30
volumes:
- name: "volume1"
persistentVolumeClaim:
claimName: {YOUR-PVC-NAME} #替换为步骤2中的PVC名称
updateStrategy:
rollingUpdate:
partition: 0
type: "RollingUpdate"
- 执行以下命令,创建StatefulSet
kubectl apply -f sts-example.yaml
- 查看创建的有状态负载:登录“云容器引擎”管理控制台;在集群列表页点击进入指定集群;进入主菜单“工作负载”——“有状态”,在列表查看
验证数据持久化
- 登录“云容器引擎”管理控制台;
- 在集群列表页点击进入指定集群;
- 进入主菜单“工作负载”——“有状态”,进入负载详情;
- 在Pod列表页,选择“远程登录”,进入到容器内执行以下命令:
向/tmp 目录下写一个文件,执行echo "Hello World" > /tmp/test.log
查看/tmp目录下文件,执行ls /tmp,预期结果如下:
lost+found test.log
- 退出“远程登录”,对上一步中的Pod执行“销毁重建”,等待Pod重新运行正常;
- 对新建Pod,继续执行“远程登录”,进入到容器内查看数据。执行cat /tmp/test.log,预期结果如下:
Hello World
- 登录“天翼云对象存储”管理控制台,根据PV名称查看bucket,进入bucket——文件管理,可以看到在容器内创建的文件:
下载文件并查看内容,预期结果与容器内写入数据一致。
- 以上步骤说明,pod删除重建后,重新挂载对象存储卷,数据仍然存在;从对象存储下载数据并与写入数据一致, 说明对象存储中的数据可持久化保存。