Meta 推出 DeepConf 技术，智能平衡大型语言模型的推理成本与准确性

当前，提高LLM推理能力常依赖“自一致性+多次采样再表决”的策略（即majorityvoting），但这种方法会导致计算资源迅速膨胀，耗时耗费，大量低质量推理路径反而可能造成错误答案胜出。DeepConf的创新之处在于，它不再对所有推理路径一视同仁，而是通过模型内部的置信度信号，对推理路径进行筛选与权重调整。

DeepConf引入了多种精细的置信度指标，比如:

• 组置信度（GroupConfidence）:计算推理过程中某一段token的平均置信度;

• 尾部置信度（TailConfidence）:关注推理结尾部分的置信程度;

• 最低组置信度（LowestGroupConfidence）:找出推理路径中最“脆弱”的环节;

• 底部百分位置信度（Bottom-10%Confidence）:聚焦最不自信的那部分推理内容）。

DeepConf支持两种执行方式:

1. 离线模式（OfflineThinking）:先生成多个完整推理路径，再按置信度筛选较优路径参与表决或加权投票;

2. 在线模式（OnlineThinking）:在推理生成过程中实时评估，当当前路径置信度低于阈值时，立刻终止该路径以节省资源。

在多个开放模型（如DeepSeek-8B、Qwen3-32B、GPT-OSS-120B）以及复杂数学与STEM推理任务(AIME、HMMT、BRUMO25、GPQA-Diamond)中，DeepConf表现惊艳:

• 离线模式下，使用GPT-OSS-120B在AIME2025的准确率高达99.9%，同时生成的token数量比传统方法少84.7%;

• 在线模式下，在AIME24中，DeepSeek-8B的准确率提升了5.8个百分点，却使用了77.9%更少的token。

企业可根据使用场景风险偏好选择不同设定:

• DeepConf-high（保守模式）:一般能减少约50%的生成成本，但准确性几乎不受影响，适用于金融、法律等高风险场景;

• DeepConf-low（激进模式）:节省70%–85%的token，适用于问答草稿、知识检索等对速度要求高但容错较灵活的场景。

使用DeepConf无需重新训练模型，只需增加少量推理时的逻辑处理。此外，它还具备良好兼容性，可与现有推理框架（如vLLM、SGLang、TensorRT-LLM）无缝集成。正如研究者所言，这为现实企业部署LLM推理任务提供了一个“可插拔”的高效方案。

论文:https://arxiv.org/abs/2508.15260

划重点:

• 🧠置信度导向选择:DeepConf基于局部置信度（组、尾部、最低点等）筛选或权重排序推理路径，而非一刀切多数投票。

• ⏱显著提升效率:达到最高99.9%的推理准确率，同时减少生成token多达84.7%。

• ️🎛可调节策略模式:企业可按风险偏好选择「高安全性」或「高效率」模式，用最少资源获取最优结果。