红帽发布全新 AI 推理服务器，推动混合云环境下智能化发展

42 0 0

红帽公司近期正式推出了红帽AI推理服务器（RedHatAIInferenceServer），这款服务器旨在为混合云环境提供更加高效和经济的AI推理服务。通过采用先进的vLLM技术，并结合NeuralMagic的创新能力，红帽希望为用户带来更快的响应速度和更优越的性能。

红帽AI推理服务器是一款专为高性能设计的开放推理解决方案，配备了一系列先进的模型压缩与优化工具。它的设计理念是将vLLM的前沿创新与红帽的企业级能力相结合，以便为用户提供灵活的部署选项。用户可以选择将其作为独立的容器化产品使用，或者将其与红帽企业Linux（RHELAI）和红帽OpenShiftAI集成。

在各种部署环境中，红帽AI推理服务器能够向用户提供经过加固的vLLM发行版。其主要功能包括智能LLM压缩工具，可以显著缩减基础AI模型与微调AI模型的大小，同时在保持模型准确性的前提下，尽量降低计算资源的消耗。此外，红帽还提供了一个优化的模型存储库，该存储库托管在红帽AI组织的HuggingFace中，用户可以即时访问经过验证的AI模型。这些模型经过优化后，能够在推理部署中提升效率，效率提升可达到2到4倍，并且不会影响模型的准确性。

红帽为用户提供了强大的企业支持，这种支持基于公司多年来在将社区项目推向生产环境方面的丰富经验。与此同时，红帽AI推理服务器还支持在非红帽Linux和Kubernetes平台上的灵活部署，帮助用户在选择部署环境时获得更大的选择空间。

红帽AI业务部门副总裁JoeFernandes表示:“推理是生成式AI的核心价值所在，它使得模型在用户互动时能够快速给出准确的回复。我们的目标是以高效和经济的方式满足大规模的推理需求。”红帽AI推理服务器的推出，将为用户提供一个通用的推理层，支持在各种环境中运行不同模型的加速。