TENAgent团队近日宣布,其核心模型**TENVoiceActivityDetection(VAD)**和**TENTurnDetection**正式开源,为构建实时、多模态的语音AI代理提供了强大的技术支持。
这一举措标志着TEN框架在推动语音交互技术民主化与开源协作方面的重大进展。以下是AIbase整理的
TENVAD是一款专为企业级应用设计的实时语音活动检测器,以低延迟、轻量化和高性能著称。根据官方信息及社交媒体反馈,TENVAD能够精确到帧级别检测语音活动,显著优于业界常用的WebRTCVAD和SileroVAD。以下是其核心亮点:
-**低计算复杂度**:TENVAD的库体积小,计算复杂度低,支持跨平台C语言兼容,覆盖Linuxx64、Windows、macOS、Android和iOS等多种操作系统,同时提供针对Linuxx64的Python绑定和Web端的WASM支持。[](https://huggingface.co/TEN-framework/ten-vad)
-**高精度与低延迟**:相比SileroVAD,TENVAD在语音到非语音的转换检测中延迟更低,能快速识别短暂停顿,适合实时交互场景。测试显示,其实时因子(RTF)在多种CPU平台上表现优异。[](https://huggingface.co/TEN-framework/ten-vad)
-**
社交媒体上,开发者对TENVAD的开源表示高度认可,认为其性能超越传统VAD模型,为实时语音助手开发提供了强有力的工具。
**TENTurnDetection**是一款专为全双工语音通信设计的智能轮次检测模型,旨在解决人机对话中最具挑战性的问题之一:准确判断用户何时结束发言并进行上下文感知的中断处理。以下是其关键特性:
-**语义分析能力**:基于Qwen2.5-7B的Transformer模型,TENTurnDetection通过分析对话的语义上下文和语言模式,精准区分用户发言的“完成”、“等待”和“未完成”状态。例如,它能识别“嘿,我想问个问题……”为未完成发言,从而避免不必要的AI打断。[](https://huggingface.co/TEN-framework/TEN_Turn_Detection)
-**多语言支持**:目前支持英语和中文,能够准确识别多语言对话中的轮次信号,适用于全球化应用场景。[](https://huggingface.co/TEN-framework/TEN_Turn_Detection)
-**优异性能**:在公开测试数据集上,TENTurnDetection在各项指标上均超越其他开源轮次检测模型,尤其在动态实时对话中表现出色。[](https://huggingface.co/TEN-framework/TEN_Turn_Detection)
-**自然交互体验**:结合TENVAD,TENTurnDetection使AI代理能够像人类一样等待合适的发言时机,或在适当的语境下处理用户中断,从而打造更自然的对话体验。[](https://www.agora.io/en/blog/making-voice-ai-agents-more-human-with-ten-vad-and-turn-detection/)
TENAgent生态:多模态实时AI的基石
TENAgent是TEN框架的展示项目,整合了TENVAD、TENTurnDetection等核心组件,支持语音、视频、文本等多模态实时交互。以下是其在生态中的作用:
-**无缝集成**:TENVAD与TENTurnDetection作为TEN框架的插件,开发者可通过简单配置将其融入语音代理开发流程,支持与Deepgram、ElevenLabs等服务的集成。
-**多场景应用**:TENAgent支持从智能客服、实时翻译到虚拟伴侣等多种用例。例如,结合GoogleGemini多模态API,TENAgent可实现实时视觉和屏幕共享检测,扩展了其在教育、医疗等领域的应用。
-**开源协作**:TEN框架的全部组件(除TENVAD部分代码外)均已完全开源,鼓励社区开发者贡献代码、修复Bug或提出新功能。TEN团队通过GitHubIssues和Projects提供协作渠道,吸引了广泛的开发者参与
项目:https://github.com/TEN-framework/ten-framework