创建HPFS实例

前提条件

1. 请确认您已 开通并行文件服务。
2. 该账号为主账号。

创建文件系统

1. 登录天翼云控制中心，选择地域，选择“存储”>“并行文件服务HPFS”，进入并行文件服务页面。
2. 单击“创建文件系统”，进入创建文件系统页面，设置所给出的配置项，包括存储类型、存储协议等信息，具体说明请参见 创建文件系统。

上传数据到HPFS实例

步骤一：存储挂载

创建好的文件系统需要挂载至通过RDMA网络与HPFS实例相连的物理机节点使用。建议使用云骁资源组创建的GPU物理机节点，通过云骁功能进行自动存储挂载，用户也可以选择手动挂载。

1. 在云骁进行存储挂载

进入云骁控制台，选择 “数据准备”>“存储挂载” ，点击“创建存储挂载”，选择需要挂载的HPFS实例，挂载至合适的节点上。

2. 手动挂载

请参考文档：挂载文件系统。

步骤二：上传数据

文件系统挂载完成后，您可以将本地或其他存储设备上的数据迁移至已挂载HPFS实例的目录下。您可以通过以下方式上传数据：

1. 本地直接上传：开通弹性IP，通过公网本地上传；
2. 通过ZOS流转：上传数据至ZOS，ZOS上传至HPFS（后续将开通数据流转功能，操作更加简单，敬请期待）；
3. 其他方式：包括数据快递等其他上传方式。

注意
建议用户在上传数据阶段记录HPFS的目录结构，以方便后续的使用与管理。

本地直接上传

1. 您需要申请弹性IP，详情操作请见申请弹性IP，

   注意
   弹性IP需与绑定的云资源在同一个区域进行使用，不允许跨区域（Region）使用弹性IP。
   请注意访问的安全性。
   

2. 申请弹性IP后，在控制台绑定上一步中已挂载的节点。

3. 在本地设备执行以下命令，从本地复制文件到节点已挂载的HPFS存储目录；

   # 将本地的 `file` 文件复制到远程主机 `remote_host` 的 `/mnt/cwai/hpfs12` 目录下
   scp -r /local/file user@remote_host:/mnt/cwai/hpfs12
   

4. 运行完成后，可登录节点查看是否传输成功。

通过ZOS流转

1. 上传数据至ZOS：可参考 如何上传数据到ZOS；

2. 使用云骁“数据准备”>“存储挂载” 功能，将ZOS与HPFS实例挂载至同一个节点上。

3. 进入节点列表，找到挂载HPFS的节点，登录该节点。

   
   

   

   
   

4. 登录节点后，执行以下操作将数据上传至HPFS，以下是一个示例：

   # cp -r zos挂载目录 HPFS挂载目录
   cp -r /mnt/cwai/mfzos102111 /mnt/cwai/hpfs12  
   

   

其他方式

请参考文档：数据迁移。

在云骁使用HPFS

在标准资源组使用HPFS

在创建存储挂载时，选择标准资源组及扩展资源组下的节点，登录节点后，您可以像访问本地数据一样读写文件系统中存储的数据。

在扩展资源组使用HPFS

1. 创建k8s存储挂载

1. 创建共享存储

进入云骁控制台，选择 “数据准备”>“k8s共享存储” ，点击“创建k8s共享存储”，选择需要挂载的HPFS实例，挂载至所要使用的资源组上。

2. 子目录管理

HPFS云骁提供了子目录管理功能方便后续使用，支持用户：

1. 同步HPFS实例下的子目录；
2. 创建新的子目录。

说明
该页面无法自动获取HPFS实例上已创建的目录列表，需要用户通过手动创建的方式手动同步HPFS目录，以便在云骁平台上分配和使用。
在该页面创建HPFS子目录并不意味着在HPFS实例上同步创建，创建的目录仅是在云骁平台内部进行子目录的可视化管理，直到该目录被挂载到任务实例中，并实际执行读写操作的时候，才会对不存在目录进行创建。

操作说明：

1. 同步HPFS实例子目录：点击上步创建的共享存储挂载名称，进入“共享存储详情”>“子目录管理”>“添加”，用户可以根据实际需要添加此实例的子目录及授权用户，建立相同的目录结构，方便后续使用。
   
   
2. 新建子目录：除了添加原有的目录外，用户也可以新建子目录，用于后续的写数据操作。

2. 创建数据集

本步骤为可选步骤。对于主账号在“数据准备”>“K8s共享存储中”已创建成功的k8s共享存储，数据集功能可以对其进行进一步的划分，起到标签管理的作用。

进入工作空间，点击“数据准备”>“创建数据集”，选择已创建成功的k8s共享存储及子目录，输入合适的名称，点击创建。

3. 创建训练任务，使用共享存储

1. 点击“训练”>“自定义训练”>“新建训练任务”，在存储处点击“+HPFS共享存储”或“+数据集”，支持添加多个存储。

   1. HPFS共享存储：选择需要使用的共享存储及已创建的子目录。
   2. 数据集：选择已创建好的数据集名称。
      

   注意
   任务所属队列与共享存储属于同一个资源组下，数据集功能才能正常使用，否则数据集处无法显示已创建的数据集。
   

2. 填写其他配置，保存任务。

3. 创建完成后，返回训练任务列表，点击“运行”，开启任务。