快科技11月6日消息，百度正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。

这款模型采用MoE混合专家架构，总参数量达到2800亿，但每个Token实际激活的参数只有140亿。整个模型使用33.5万亿个Token完成预训练，微调和推理阶段支持最长100万Token上下文。

从参数规模来看，文心5.5 Flash Base并不算小，但它的重点并不是一味堆参数，而是尽可能提高计算效率。

简单来说，MoE架构可以让模型根据不同任务，选择部分专家参与计算，而不是每次都调用全部参数。文心5.5 Flash Base总参数达到2800亿，每个Token只激活140亿参数，在保留较大模型容量的同时，也能减少实际计算量。

上下文长度也是这次的一大看点。模型预训练阶段最高支持128K上下文，而经过微调后，推理阶段最长可以支持100万Token。对于需要处理长文档、代码仓库和大量资料的开发者来说，这项能力比较实用。

百度还针对模型效率做了不少优化。

在注意力机制上，文心5.5 Flash Base采用混合稀疏注意力方案，通过压缩历史信息，减少处理长文本时的显存占用。同时引入多路由专家机制，让多个路由器共同参与专家选择，提高计算资源的利用率。

训练方面，模型采用Muon优化器和FP8混合精度，并推出自研FlashMask-4注意力算子，进一步改善大规模训练时的计算和显存效率。

性能方面，百度公布的测试结果显示，文心5.5 Flash Base在知识、推理、数学、代码、多语言和长上下文等多个项目中取得同尺寸模型领先成绩。

Benchmark评测结果

其中，MMLU成绩达到93.3分，MMLU-Pro达到78.4分，HumanEval+达到82.3分，MBPP+达到81.5分。在代码测试中，相比DeepSeek-V4-Flash-Base等同级模型有明显优势。

不过需要注意，这次开源的是纯预训练基座模型，还没有经过中训练和后训练。也就是说，它并不是下载下来就能直接当作成熟聊天机器人使用，而是主要提供给开发者和企业，用于后续指令微调、领域适配和强化学习。

目前，百度已经在Hugging Face上提供FP8和BF16两种版本的模型权重，方便不同需求的开发团队下载使用。

百度也表示，经过后训练的ERNIE 5.5 Flash版本将在后续推出。

这次开源最大的看点，是百度把一个2800亿参数、经过33.5万亿Token训练的模型开放给开发者，同时通过MoE和稀疏注意力等技术控制计算成本。

随着大模型竞争越来越激烈，单纯比拼参数规模已经不够了，模型能不能跑得快、占用多少显存，以及后续训练是否方便，同样重要。文心5.5 Flash Base的开源，也给国内开发者提供了一个新的选择。

文心5.5 Flash Base架构图