概述
本最佳实践主要描述通过慧聚一站式智算服务平台进行全流程图像分类的AI开发。数据处理工程师,算法工程师,模型和服务管理人员都可以在平台上完成所需的工作,各角色的工作成果可无缝衔接。平台提供了数据集管理、模型开发与训练管理、模型管理、模型部署等功能模块。如果用户具备工程开发能力,可以通过在线IDE编码工具自行编写代码,使用平台提供的CPU、GPU算力来运行代码、训练模型。在线IDE编码工具支持用户切换各种算法框架和环境,免去用户重新安装的时间。工程师开发完成的代码可以保存到模型仓库进行统一的模型管理。
方案优势
- 降低建模成本:慧聚一站式智算服务平台为用户带来了便利,通过平台,用户无需进行任何额外的配置或调试,开箱即用。平台预置了丰富的预训练模型和镜像环境,针对不同场景提供了多样化预置数据集,确保用户能够迅速投入工作。
- 多角色功能集成:集成化的平台化工具可以将数据标注员、算法、工程化角色都容纳在平台上,提供从数据处理、模型开发、模型训练到模型部署应用的全栈服务。
- 平台化全流程管理:管理者统一管理和查看,让各角色参与者完美的串联协同工作,实现数据互通、环境互通,且保障数据和模型安全、不出平台,实现训练开发资产的一站式沉淀与管理,提升企业工作效率,实现流水线式AI生产。
前置条件
注意本方案仅作为实践演示,具体环境以用户实际需求为准。
执行本文操作之前, 请完成以下准备工作:
- 注册天翼云账号,并完成实名认证。
- 天翼云账户余额需要大于100元。
- 为了便于演示,本文中涉及资源开通时,均默认选择按量付费模式。
实践步骤
数据集管理
- 采用Kaggle上的猴子数据集(获取地址https://www.kaggle.com/slothkong/10-monkey-species),包含两个文件:训练集和验证集。每个文件夹包含10个标记为n0-n9的猴子。图像尺寸为400x300像素或更大,并且为JPEG格式(约1400张图像)。
- 进入慧聚一站式智算服务平台,进入数据集管理模块,点击创建数据集,上传压缩包,导入方式为本地压缩包导入,数据集标注状态“无标注信息”。
创建VSCode
- 进入模型开发与训练模块,选择开发机,点击【VSCode】>【创建VSCode】,根据实际需求选择合适的运行环境。
- 创建完成后,在VSCode列表操作列点击【启动】,启动完成后,点击【打开】。
- 将本地的训练Python文件(
.py
)复制到指定的文件夹下(/work/model)。 - 找到已上传的数据集,修改数据集对应的位置。
模型训练
- 启动训练任务。
- 训练监控,进入训练任务管理,可以看到训练任务的状态、日志、训练曲线等。
模型测试
- 将本地的测试Python文件(
.py
)复制到指定的文件夹下(/work/model)。 - 查看每一类的分类结果。
- 查看分类评价指标precision,recall和f1-score等。
- 查看混淆矩阵。