本平台提供了以下三种途径进行数据的上传/下载,请根据您的需求选择合适的方式。
- 批量计算控制台上传/下载数据,该方法操作简单而且不用额外工具。
- JupyterLab上传/下载数据,该方法适用于在开发环境中使用JupyterLab时上传/下载数据。优点是使用简便,但是只支持文件不支持文件夹,文件大小不能超过2G。
- Sftp上传/下载数据(FileZilla),需安装客户端,支持大文件上传且同时支持文件和文件夹,推荐使用。
控制台上传/下载数据
前提条件
准备好需要上传的文件,目前中心代理模式下上传数据集大小限制为100M,分片3M。
操作步骤
-
登录批量计算管理控制台。
-
在控制台左侧导航栏中,选择【存储】
-
在【存储】弹出的选项中,选择【数据集管理】。
-
选择一个数据集,在操作栏中单击【查看】按钮。
-
在【存储文件管理】页面点击【上传】按钮。
-
选择【上传文件】或【上传文件夹】,在弹出的页面选择具体的文件或文件夹,并点击【上传】,完成文件上传。
-
在【存储文件管理】页面点击【下载】按钮,进行文件下载。
JupyterLab上传/下载数据
前提条件
- 已创建接入方式为JupyterLab的开发环境。
- 准备好需要上传的文件,该方法支持文件不支持文件夹,文件大小不能超过2G。不建议传输大文件。
操作步骤
-
登录批量计算管理控制台。
-
在控制台左侧导航栏中,选择【开发环境】。
-
在【开发环境】页面中,打开一个运行中的JupyterLab开发环境。选择挂载的数据集目录,并点击进入。
-
按照下图操作指引,在JupyterLab页面上传或下载数据。
Sftp上传/下载数据(FileZilla)
前提条件
- 安装好sftp客户端工具。这里以FileZilla为例,使用以下命令在linux系统上进行安装:
sudo apt install filezilla
- 准备好需要上传的文件,该方法支持文件和文件夹上传下载,且支持大文件。
操作步骤
- 获取连接SFTP目标服务器的IP和登录方式。以在ECX集群创建虚机搭建NFS作为存储源为例,获取IP和登录方式的步骤如下:
- 登录ecx控制台,找到部署nfs的虚机,获取虚机的公网ip及对应安全组。
- 获取本地的出口ip。
- 在虚机对应的安全组添加入方向规则,将本地的出口ip添加到允许的规则中。
- 若不清楚虚机的登陆密码,可以在虚机页面进行重置,获取密码。
- 登陆批量计算控制台,在控制台左侧导航栏中,选择【存储】->【数据集管理】。选择目标数据集,获取数据集挂载的目录。
- 使用FileZilla上传/下载数据
- 新增站点,配置传输协议sftp
- 输入虚机的公网ip及ssh端口
- 输入虚机登陆的账号及密码进行连接
- 连接成功后,找到数据集挂载的目录(即从批量计算平台获取的目录),即可进行文件上传下载。