Ling 3.0

概览

Ling 3.0 是蚂蚁集团 AGI 团队（以 inclusionAI 名义在 Hugging Face 开源）的百灵大模型最新一代，采用混合线性 MoE 架构：35 层 KDA 与 7 层 Gated MLA 按 5:1 交替，512 个路由专家中每 token 激活 8 个再加 1 个共享专家，注意力头 32、隐藏维度 2560、词表 157184。旗舰档 Ling-3.0-flash 总参数约 1240 亿、激活约 51 亿（不含 embedding），另有 Ling-3.0-tiny（80 亿）以及 int4 与 fp8 量化版本，全部以 MIT 许可发布。上表跑分取自官方发布的 Ling-3.0-flash-base 基座模型卡（非指令微调版）。上一代 Ling-V2 系列包含 Ling-mini-2.0（总参 162.6 亿、激活 14.3 亿，20T tokens 训练，128K 上下文）与 Ling-flash-2.0（总参 1000 亿、激活 61 亿），在 H20 上可达 300+ token/s，采用 FP8 混合精度训练。

模态

文本

参数量

124B (混合线性 MoE，激活 5.1B)

许可说明

开源 · MIT

能力

• +混合线性 MoE 架构：35 层 KDA + 7 层 Gated MLA（5:1 配比）
• +512 个路由专家，每 token 激活 8 个路由专家 + 1 个共享专家
• +1240 亿总参数仅激活 51 亿，推理成本远低于同档稠密模型
• +MIT 许可完全开源，权重可自由商用与私有化部署
• +提供 flash（约 124B）与 tiny（8B）档位及 int4 / fp8 量化版本

基准测试

分数按各测试原始量表列示，不同测试之间不作百分比换算。