近日，NVIDIA的研究团队宣布发布Jet-Nemotron，这是一系列全新的语言模型（包含2亿和4亿参数的版本），其生成速度比当前最领先的全注意力语言模型高出53.6倍，并在准确性上达到了甚至超过了这些模型的水平。这一突破不是通过从头开始重新训练模型实现的，而是采用了一种名为“后神经架构搜索”(PostNAS)的新技术对现有预训练模型进行了改造。
随着现代语言模型的广泛应用，如Qwen3、Llama3.2和Gemma3等，这些模型虽然在准确性和灵活性上设立了新的标杆，但其O（n²）的自注意力机制造成了计算和内存的高昂成本，尤其是在处理长文本任务时，这使得大规模部署变得异常昂贵，也几乎不可能在边缘设备或内存受限的设备上运行。尽管有一些尝试用更高效的架构替代全注意力Transformer(如Mamba2、GLA、RWKV等)，但在准确性上却始终难以实现突破，直到现在。
PostNAS作为Jet-Nemotron的核心创新，主要包括以下几个步骤:首先，选择一个
Jet-Nemotron的性能指标令人瞩目:其2B模型在各大基准测试中与Qwen3-1.7B-Base相当或更优，并且生成吞吐量提升了47倍。同时，在256K上下文长度下，解码速度的提升达到53.6倍，使得推理成本降低了98%。这为边缘设备的部署带来了变革性的改变。
此外，Jet-Nemotron的推出意味着企业能够以更低的成本实现更高的投资回报率。对于从业者而言，Jet-Nemotron能够在不改变数据管道的情况下对现有模型进行改造，提升了实时AI服务的能力。而对于研究人员而言，PostNAS降低了语言模型架构创新的成本，加速了AI技术的发展。
项目：https://github.com/NVlabs/Jet-Nemotron
划重点:
🌟Jet-Nemotron实现生成速度比现有模型提升53.6倍，推理成本降低98%。
💻PostNAS技术允许对现有预训练模型进行高效改造，保持准确性。
📈新模型的推出使得企业和研究者能在成本和性能上获得双重收益。
相关文章
