核心技术

• 自研AI框架和加速算子

  自研训练框架打造核心加速算子集合，支持多维度混合全自动并行，提供万卡级超大规模异构模型训练能力，自动兼容英伟达和国产芯片，实现与头部训推框架的无缝对接，覆盖目前行业全部主流开源大模型

• 全链路训推一体加速

  通过 3D 并行加速优化(流水线并行、模型并行、数据并行)，将训练性能提升20%。推理能力方面，在国产昇腾上的推理性能达到英伟达 A100的80%以上

• 大规模容器纳管调度

  平台进行万卡纳管调度，建立弹性扩缩容，大大提升算力利用率，并确保容器运行环境的稳固和数据的安全。采用多种策略和技术，‌能够减少故障恢复的时间和资源消耗，‌提高系统的可靠性

• 高效故障恢复

  实现容器故障动态感知和任务断点续训。达到1分钟检测、10分钟定位、30 分钟恢复，支持多种训练框架，覆盖70%的故障场景，最小化对用户的影响，保障业务的连续性

安全保障

通过用户级别封禁策略保障模型服务内容安全，限制恶意攻击对平台的伤害，包含黑名单管理、白名单管理、AK黑名单管理、风险词表热更新等功能

• 规则黑名单管理

  支持精准匹配、包含匹配和模式匹配三种规则类型，输入相关语句即可完成黑名单操作

• 规则白名单管理

  支持精准匹配和模式匹配两种规格类型，输入相关语句即可完成白名单操作

• AK黑名单管理

  支持有期限封禁（1天、2天、3天、1周）和永久封禁两种策略类型，输入AK即可完成封禁管理

• 风险词表热更新

  支持对黑名单词表、白名单词表和敏感名单词表进行热更新，上传词表文件即可完成风险词表热更新