背景分析
目前⽤户在关闭开发环境后,实例内除了数据集挂载路径以外的⽂件和路径将被重置,下次启动需要重新加载,影响使⽤体验和开发效率。
工具说明
目前采用如下实践⽅式来改善上述问题:
批量计算提供了镜像保存功能,⽀持⼀键将运⾏中的Notebook实例保存为镜像,将准备好的环境保存下来,可以作为⾃定义镜像,⽅便后续使⽤。⽤户可以在Notebook开发环境中⾃⾏安装开发依赖包,⽅便使⽤,也可避免安依赖包丢失。
附录:Conda配置简介
全部Conda命令建议参考Conda官⽅⽂档。这⾥仅对常⽤命令做简要说明。
命令说明 | 命令 |
---|---|
获取帮助 | conda --help conda update --help #获取某⼀命令的帮助,如update |
查看conda版本 | conda -V |
环境管理 | conda env list #显示所有的虚拟环境 conda info -e #显示所有的虚拟环境 conda create -n myenv python=3.7 #创建⼀个名为myenv环境,指定Python 版本是3.7 conda activate myenv #激活名为myenv的环境 conda deactivate #关闭当前环境 conda remove -n myenv --all #删除⼀个名为myenv的环境 conda create -n newname --clone oldname #克隆oldname环境为newname环境 conda install -c https://conda.anaconda.org/anaconda numpy #使用源https://conda.anaconda.org/anaconda 安装numpy conda update numpy pandas #更新numpy和pandas两个package,此命令可同时更新⼀个或多个包 conda remove numpy pandas #卸载numpy和pandas两个package,此命令可同时卸载⼀个或多个包 conda update –-all #更新当前环境下所有的package |
清理conda | conda clean -p # 删除⽆⽤的包 conda clean -t # 删除压缩包 conda clean -y --all # 删除所有的安装包及cache |
操作流程
-
进入JupyterLab工作台并打开终端。
-
Conda是一个开源的包管理系统和环境管理系统,Conda 可快速安装、运行和更新包及其依赖项。Conda可以轻松地在计算机上创建、保存、加载和切换环境。以python为例:
在返回列表中会显示所有可下载的python版本。
-
部署以名字为tf的环境,安装python 3.11和tensorflow 2.12
conda create -n tf python=3.11 tensorflow=2.12
`
-
环境部署好后会返回激活环境的指令conda activate [环境名] 例如: "conda activate tf",退出当前环境为"conda deactivate"
-
输入"conda activate tf"进入刚才安装好的环境
测试Tensorflow版本,返回结果与所需的版本一致。
-
退出当前环境,如果需要一键导入完整环境,需安装conda-pack。导出的包体积会比较大
pip install conda-pack
-
导出当前环境"conda pack -n [环境名] -o [压缩包名]"
例如:conda pack -n tf -o tf.tar.gz
完成后在左侧文件列表中即可下载导出的环境包。如果导出的环境包过大,可只导出环境配置文件,在导入时让Conda重新自动安装环境。
conda env export -n [环境名] > env.yaml
执行完成后在左侧文件列表中下载env.yaml即可。 -
通过Conda在开发机重启后恢复之前的环境
a. 将env.yaml上传至开发机中
b. 执行 conda env create -f [文件名]
c. 环境安装完毕后查看"conda env list" ,确认环境tf存在。
注意:在使用环境时开发机的临时文件不会被conda pack打包,只有在环境所在路径下的临时文件才会被conda pack打包。在conda env list中可查看环境所在的路径,例如/opt/conda/envs/tf。