腾讯混元 TurboS 技术报告全面揭秘，560B参数混合Mamba架构

20 0 0

腾讯发布了混元TurboS技术报告，揭示了其旗舰大语言模型TurboS的核心创新与强大能力。

根据全球权威大模型评测平台ChatbotArena的最新排名，混元TurboS在239个参赛模型中位列第七，成为国内仅次于Deepseek的顶尖模型，并在国际上仅落后于谷歌、OpenAI及xAI等几家机构。

混元TurboS模型的架构采用了创新的HybridTransformer-Mamba结构，这种新颖的设计结合了Mamba架构在处理长序列上的高效性与Transformer架构在上下文理解上的优势，从而实现了性能与效率的平衡。该模型总共包含128层，激活参数量高达560亿，成为业界首个大规模部署的Transformer-Mamba专家混合模型（MoE）。通过这样的架构创新，TurboS在国际权威评测中取得了整体高分1356。

为了进一步提升模型的能力，混元TurboS引入了自适应长短思维链机制，能够根据问题的复杂度自动切换响应模式。这一机制让模型在处理简单问题时能够迅速响应，而在面对复杂问题时，则会深入分析并给出高准确度的答案。此外，团队还设计了包含监督微调、自适应长短CoT融合等四个关键模块的后训练流程，进一步增强了模型的表现。

在预训练阶段，混元TurboS在16万亿Token的语料上进行训练，确保了模型的数据质量和多样性。其核心架构包含Transformer、Mamba2和前馈神经网络（FFN）组件，层级构成合理，最大程度上提升了训练和推理的效率。

此次技术报告的发布，不仅展示了腾讯在大语言模型领域的技术实力，也为今后大模型的发展提供了新的思路与方向。

论文链接:https://arxiv.org/abs/2505.15431