微软今天凌晨在官网上开源了
Phi-4-mini-flash-reasoning的推出，标志着推理效率的显著提升，相较于前一版本，推理效率暴涨了10倍，同时平均延迟降低了2到3倍。这种大幅度的性能提升，使其在
这一版本的核心在于微软自研的SambaY架构。SambaY是一种创新的解码器混合架构，由微软与斯坦福大学共同研发。通过引入门控存储单元，SambaY能够实现跨层的高效记忆共享，从而在提升解码效率的同时，保持线性预填充时间复杂度，增强长上下文性能，并且无需显式位置编码。
在长文本生成任务中，SambaY展现了显著的效率提升。在处理2K长度的提示和32K长度的生成任务时，解码吞吐量相较于传统的Phi-4-mini-Reasoning模型提高了10倍。此外，在数学推理能力的测试中，SambaY的表现也有显著提高，特别是在复杂的数学问题上，能够生成清晰且逻辑连贯的解题步骤。
微软还通过Phonebook和RULER等基准测试评估了SambaY在长上下文检索方面的表现。在32K长度的上下文中，SambaY在Phonebook任务中达到了78.13%的准确率，表现远超其他模型。这证明了SambaY在长上下文理解与生成能力上的优势。
为了验证SambaY的可扩展性，微软进行了大规模的预训练实验，使用了3.8B参数的Phi-4-mini-Flash模型，并在5Ttokens的数据集上进行了训练。尽管训练过程中遇到了一些挑战，但通过引入标签平滑和注意力dropout等技术，模型最终成功收敛，并在知识密集型任务中取得了显著的性能提升。
开源地址:https://huggingface.co/microsoft/Phi-4-mini-flash-reasoning
英伟达API:https://build.nvidia.com/microsoft
划重点:
🌟微软推出Phi-4-mini-flash-reasoning，推理效率提升10倍，适合笔记本运行。
🔍创新SambaY架构通过高效记忆共享提升解码性能，适合长文本生成与数学推理。
📈在基准测试中表现优异，Phonebook任务准确率达78.13%，显示出强大的长上下文理解能力。
相关文章
