慧聚平台针对国产化硬件910B进行主流模型的迁移适配和性能优化,多数训练性能达到A800的80%及以上,推理性能达到A10或A100的的80%及以上。
目前模型广场所有模型均达到国产化适配的性能标准。
主流模型适配结果示例:
- 多数模型基于昇腾的训练可达A800的80%以上,举例如下:
Llama3-8B-instruct 性能对标可达89.95%
Qwen2-72B-Instruct 性能对标可达86.30%
ChatGLM3-6B 性能对标可达84.49% - 部分模型基于昇腾910B的推理可达A800的80%以上,举例如下:
Qwen-1.8B-Chat 性能对标可达110.32%
Llama2-13B-Chat 性能对标可达91.28%
主流适配模型清单参考如下:
- 大语言:
Llama:Llama系列、Llama2系列、Llama3系列
通义千问:Qwen系列、Qwen1.5系列、Qwen2系列
智谱:ChatGLM2系列、ChatGLM3、GLM4系列
书生浦语:InternLM系列、InternLM2系列
百川:Baichuan系列、Baichuan2系列、Baichuan-Turbo
零一万物:Yi系列、Yi-1.5系列
电信星辰:TeleChat系列
其他:AquilaChat-7B、Gemma2-9B-Chat等 - 多模态:
OpenClip
ChineseCliP
Blip2
VisualGLM-6B
StableDiffusion-V1.5
StableDiffusion-V2.1
Qwen-VL-Chat
InternVL-Chat-V1.5
在国产化适配方面主要具备能力:
- 针对提供的算力,可以提供全套迁移服务
- 针对提供的AI算力,支持自动生成模型的算子支持度分析报告
- 针对提供的算力,可以提供迁移适配服务
- 对适配后的算子,可以提供精度对齐调优工具
- 对适配后的算子,可以提供专家持续提供调优指导服务