1.概述
批量计算提供非持久化的存储,如果您需要持久化存储数据,需要接入存储源,创建数据集,并将数据集挂载到指定的路径,从而实现读写数据集数据。批量计算提供文件存储和对象存储两种存储源,具体创建说明如下:
2.创建存储源
1)登录批量计算管理控制台。
2)在控制台左侧导航栏中,选择【存储】。
3)在【存储】弹出的选项中,选择【存储源管理】。
4)在【存储源管理】页面,点击左上角的【创建存储源】按钮。
5)在【创建存储源】页面,输入和选择相关信息后,点击【确认】,完成存储源创建;点击【取消】,放弃存储源创建。
2.1文件存储
2.1.1通过平台提供的SFS文件存储创建存储源
弹性文件服务(Scalable File Service,SFS)是天翼云提供的一项存储服务,基于NFS协议,可支持大规模数据的存储和处理,具有高性能和低延迟的特点,以满足不同的业务场景。
在弹出的【创建存储源】页面中,选择存储类型为“文件存储“,选择数据存储为"智能边缘文件存储”:
配置参数,具体如下表所示:
参数 | 说明 | 是否必选 |
---|---|---|
名称 | 输入作业名称。要求如下:*长度范围为4~53个字符。*名称由小写字母、数字、中划线(-)和点(.)组成。*以小写字母开头。*以小写字母或数字结尾。 | 是 |
资源池 | 在选择资源池类型后,再选择资源池。 | 是 |
可用区 | 选择存储源建立在具体可用区,如福州6。 | 是 |
存储类型 | 文件存储 | 是 |
选择数据存储 | 智能边缘文件存储 | 是 |
选择文件系统 | 默认,自动申请,不可修改 | 否 |
存储规格 | 默认,通用类型,不可修改 | 否 |
协议 | 默认,NFS,不可修改 | 否 |
选择IO类型 | 选择磁盘类型。 | 是 |
容量大小 | 填写,具体的容量大小;最小为10G。 | 是 |
2.1.2通过自有NFS文件存储创建存储源
1.前提条件
准备好可使用的文件存储(当前支持NFS),获取服务器地址和可读写的共享目录。
2.操作步骤
1)登录批量计算管理控制台。
2)在控制台左侧导航栏中,选择【存储】。
3)在【存储】弹出的选项中,选择【存储源管理】。
4)在【存储源管理】页面,点击左上角的【创建存储源】按钮。
5)在弹出的【创建存储源】页面中,配置参数,具体如下表所示
参数 | 说明 | 是否必选 |
---|---|---|
名称 | 输入作业名称。要求如下:*长度范围为4~53个字符。*名称由小写字母、数字、中划线(-)和点(.)组成。*以小写字母开头。*以小写字母或数字结尾。 | 是 |
资源池 | 在选择资源池类型后,再选择资源池。 | 是 |
可用区 | 选择存储源建立在具体可用区。 | 是 |
存储类型 | 选择具体的文件存储类型:文件存储或对象存储,本次选择文件存储。 | 是 |
选择数据存储 | 选择“自建文件存储”为NFS。NFS是一个分布式文件系统协议,它允许通过网络共享远程文件夹。通过NFS,可将远程文件夹挂载到系统上,并且操作远程机器的文件,就像本地文件一样方便。 | 是 |
协议 | 默认为NFS,不可修改。 | 否 |
服务器地址 | 输入文件存储服务器地址,服务器地址与作业集群能够互通(内网或公网均可,为保障数据读写效果文件存储与开发机/作业请使用相同集群)。 | 是 |
共享目录 | 此处请确认NFS共享目录的权限是可以让其他用户正常读写执行(rwx)的。 | 是 |
6)击右下角的【确认】,即可完成存储源的创建。
2.对象存储
操作步骤如下:
1)登录批量计算管理控制台。
2)在控制台左侧导航栏中,选择【存储】。
3)在【存储】弹出的选项中,选择【存储源管理】。
4)在【存储源管理】页面,点击左上角的【创建存储源】按钮。
5)在弹出的【创建存储源】页面中,配置参数,具体如下表所示:
参数 | 说明 | 是否必选 |
---|---|---|
名称 | 输入作业名称。要求如下:*长度范围为4~53个字符。*名称由小写字母、数字、中划线(-)和点(.)组成。*以小写字母开头。*以小写字母或数字结尾。 | 是 |
资源池 | 在选择资源池类型后,再选择资源池。 | 是 |
可用区 | 选择存储源建立在具体可用区,如福州6。 | 是 |
存储类型 | 选择具体的文件存储类型:文件存储或对象存储,本次选择对象存储。 | 是 |
OSS归属 | 默认,天翼云对象存储(融合版) | 否 |
对象存储URL | 填写存储URL。 | 是 |
桶名 | 填写具体的桶名。 | 是 |
Access Key ID | 填写Access Key ID。 | 是 |
Secret Access Key | 填写Secret Access Key。 | 是 |
6)击右下角的【确认】,即可完成存储源的创建。