摩尔线程官方宣布,依托 MTT S5000 智算卡和 MUSA 软件栈,已经完成月之暗面 Kimi K3.1 Pro 的训练适配,搭建原生 FSDP2 多模态训练路径,打通模型加载、分片调度、梯度同步的完整万亿多模态训练链路;Kimi K3.1 Pro 是 2.8 万亿参数 MoE 混合专家架构的原生多模态大模型,自带 KDA、Gated DSA 稀疏注意力,还有视觉编码、跨模态投影模块,动态专家路由、图文联合训练对显存调度、多卡通信要求很高,这次测试采用双机 16 卡 MTT S5000 集群,连续稳定跑完 400 步训练,没有数值溢出、训练中断,视觉分支也正常完成梯度更新,标志着摩尔线程 MUSA 生态从单纯推理部署,升级到可以支撑这类前沿万亿多模态模型做预训练、微调,国产 GPU 对高复杂度 MoE 多模态模型的全栈训练能力得到验证。
一、本次适配核心硬件与模型基础信息
| 项目 | 详情 |
|---|---|
| 适配模型 | Kimi K3.1 Pro(2.8 万亿参数 MoE 原生多模态模型) |
| 算力硬件 | MTT S5000 训推一体智算卡(平湖架构) |
| 软件底座 | MUSA 软件栈、MATE 算子库、MCCL 通信库、FSDP2 并行框架 |
| 测试集群 | 双服务器,合计 16 张 MTT S5000 |
| 训练验证结果 | 连续 400 步训练稳定运行,无溢出、无中断,视觉分支梯度正常更新 |
| 模型特点 | 百万 Token 长上下文、KDA+Gated DSA 混合稀疏注意力、MoonViT-V2 视觉塔 |
二、重点技术适配方向
- 并行框架适配:采用 FSDP2+EP 混合并行方案,把模型参数、专家、优化器状态分散到多张显卡,降低单卡显存压力,适配 MoE 大量专家动态路由的特性。
- 核心算子优化:完成 KDA、Gated DSA 稀疏注意力算子适配,优化 KV 缓存布局、Prefill 和 Decode 计算路径,适配 MXFP4 低精度权重格式。
- 跨模态链路打通:视觉编码、跨模态投影模块接入前向、反向、参数更新全流程,实现图文一起联合训练,不只是单独文本训练。
- 通信调度优化:依托 MCCL 库做跨节点梯度同步、参数预取,减少多卡等待开销,适配 MoE 专家路由带来的不规则通信流量。
- 显存控制优化:Chunk Loss 分块计算,控制大词表场景下显存占用,避免训练过程显存爆掉。
三、推理适配和训练适配的区别
- 此前摩尔线程已经完成 Kimi K3.1 Pro 的 Day-0 推理适配,只支持加载权重、跑图文问答、生成内容,侧重业务部署。
- 本次是训练链路适配,支持模型参数更新、梯度回传,可以用来做预训练、SFT 微调、RLHF,属于模型生产环节,门槛远高于推理。
- 推理只关心输出结果是否正确;训练需要全程保证数值稳定、梯度无漂移、多卡同步精准,对软硬件一致性要求更高。
四、这次适配的行业意义
- 证明国产全功能 GPU 可以承接前沿开源万亿级 MoE 多模态模型训练,不再只局限于小模型、稠密模型。
- 给国内大模型团队提供国产化训练底座,有条件基于摩尔线程集群,在本地对 Kimi K3.1 Pro 做二次微调、行业定制。
- MUSA 软件栈生态持续补齐,推理、训练两条链路同步成熟,支撑从模型训练到业务上线的全流程国产化。
- MoE 多模态模型是现在大模型主流方向,这次适配也验证平湖架构在稀疏注意力、动态专家场景的算力调度能力。
五、现存局限与风险提示
- 目前只完成实验室 16 卡小规模验证,还没有公开万卡长周期稳定训练数据,大规模集群训练的稳定性、算力利用率还需要持续测试。
- Kimi K3.1 Pro 本身模型训练成本极高,普通企业很难独立跑完整预训练,更多用于行业微调场景。
- MoE 模型通信流量波动大,对互联带宽、通信调度算法要求持续优化,后续大规模扩卡会遇到新挑战。
【相关 FAQ】
问题 1:摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配,用的是什么算力卡?
回答 1:摩尔线程打通万亿多模态训练链路、完成 Kimi K3.1 Pro 训练适配,采用的是 MTT S5000 训推一体智算卡,底层是平湖架构,搭配 MUSA 软件栈。
问题 2:摩尔线程完成 Kimi K3.1 Pro 训练适配,和之前的推理适配有什么不一样?
回答 2:摩尔线程 Kimi K3.1 Pro 推理适配只能加载权重跑问答生成;训练适配打通万亿多模态训练链路,支持梯度回传、参数更新,能够做预训练、微调,是模型生产级能力。
问题 3:摩尔线程完成 Kimi K3.1 Pro 训练适配,测试集群规模和训练结果如何?
回答 3:摩尔线程打通万亿多模态训练链路的测试集群是双机 16 张 MTT S5000,连续完成 400 步训练验证,没有数值溢出、异常中断,视觉分支梯度更新正常。
问题 4:Kimi K3.1 Pro 是什么架构,为什么打通它的万亿多模态训练链路难度很高?
回答 4:Kimi K3.1 Pro 是 2.8 万亿参数 MoE 混合专家原生多模态模型,有动态专家路由、稀疏注意力、图文联合训练,对显存管理、多卡通信、算子精度要求严苛,所以训练适配难度大。
问题 5:摩尔线程打通 Kimi K3.1 Pro 万亿多模态训练链路,对国内大模型厂商有什么价值?
回答 5:摩尔线程打通 Kimi K3.1 Pro 万亿多模态训练链路,意味着国内团队可以基于国产化 MTT S5000 集群,对 Kimi K3.1 Pro 开展私有化微调、行业定制,使用国产算力底座。
【参考资料】
[2026-11-18](打通万亿多模态训练链路!摩尔线程完成 Kimi K3.1 Pro 训练适配)中关村在线
[2026-11-17](摩尔线程完成 Kimi K3.1 Pro 万亿多模态训练链路验证)腾讯新闻
[2026-11-17](摩尔线程完成 Kimi K3.1 Pro 训练适配 双机 16 卡连续训练 400 步)CNMO 科技
[2026-11-12](摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 大模型适配)电子发烧友网
[2026-11-06](Day-0 支持:摩尔线程完成 3 万亿级参数 Kimi-K3.1 Pro 适配)摩尔线程官网
【免责声明】
本文内容基于摩尔线程官方信息、媒体公开测试报道整理,本次仅为实验室小规模训练验证,大规模万卡集群长期训练效果、算力利用率、落地成本未做承诺;Kimi K3.1 Pro 模型本身遵循月之暗面开源协议,模型训练、商用权限请以月之暗面官方许可协议为准,本文不构成算力采购、模型二次开发的投资与项目建议。
本文来自作者[光隧信使号]投稿,不代表新新网立场,如若转载,请注明出处:https://wap.xxcmw.com/kuaixun/202611/4199.html
评论列表(4条)
我是新新网的签约作者“光隧信使号”!
希望本篇文章《摩尔线程打通万亿多模态训练链路,完成 Kimi K3.1 Pro 训练适配》能对你有所帮助!
本站[新新网]内容主要涵盖:互联网行业的追踪与探索
本文概览:摩尔线程官方宣布,依托 MTT S5000 智算卡和 MUSA 软件栈,已经完成月之暗面 Kimi K3 1 Pro 的训练适配,搭建原生 FSDP2 多模态