红帽联手谷歌、NVIDIA启动llm-d开源项目，破解大规模AI推理成本与延迟双重难题

llm-d:统一平台的创新突破

red帽及其合作伙伴通过llm-d项目直面这一挑战，成功将先进推理能力集成到现有企业IT基础设施中。该统一平台赋能IT团队在满足关键业务工作负载各种服务需求的同时，部署创新技术以最大化效率，并显著降低高性能AI加速器的总体拥有成本。

这一解决方案的核心价值在于打破了传统推理部署的局限性，为企业提供了更加灵活、高效且经济的AI推理选择。

强大的产业联盟支持

llm-d项目已获得由生成式AI模型提供商、AI加速器先驱和主要AI云平台组成的强大联盟支持。除了四家创始贡献者外，AMD、思科、HuggingFace、英特尔、Lambda和MistralAI等重要企业也作为合作伙伴加入该项目，展现了业界在构建大规模LLM服务未来方面的深度合作意愿。

行业领袖积极响应

GoogleCloudAI与计算基础设施副总裁兼总经理MarkLohmeyer强调:”在企业大规模部署AI并为用户创造价值的过程中，高效的AI推理至关重要。在我们进入推理新时代之际，GoogleCloud很荣幸能够作为llm-d项目的创始贡献者，在我们开源贡献传统的基础上再接再厉。”

NVIDIA工程AI框架副总裁UjvalKapasi表示:”llm-d项目是对开源AI生态系统的重要补充，体现了NVIDIA对合作推动生成式AI创新的承诺。可扩展、高性能的推理是下一波生成式AI和代理式AI的关键。我们正与红帽和其他支持合作伙伴合作，利用NIXL等NVIDIADynamo创新帮助加速llm-d的发展。”

开源驱动产业变革

llm-d项目的启动标志着AI推理领域进入新的发展阶段。通过开源模式汇聚产业智慧，该项目不仅有望解决当前大规模推理面临的成本和性能挑战，更将为整个AI生态系统的可持续发展奠定坚实基础。

随着更多企业和开发者的参与，llm-d有望成为推动AI推理技术标准化和普及化的重要力量，为即将到来的推理时代做好充分准备。