传统翻译评测不同,TransBench引入了幻觉率、文化禁忌词和敬语规范等新指标,专注于大模型翻译中的关键问题。这些指标来源于真实使用场景的反馈,力求反映翻译的实用性和文化适应性。比如,翻译结果虽然流畅,但若存在“编造”信息的情况,便会被标记为“幻觉”;同样,翻译不符合当地文化或缺乏必要的礼貌用语,也会影响评估结果。

根据榜单的
在文化特性方面,Qwen系列模型表现亮眼,Qwen2.5-0.5B-Instruct和Qwen2.5-1.5B-Instruct分列前两位,展示了其在跨文化翻译中的优势。此系列模型是由多个研究机构联合开发,支持多种语言,旨在提升翻译的文化适应性。
在中文翻译方面,GPT-4o再次名列
TransBench的评测方法和数据集现已开源,鼓励各大AI翻译机构参与,进行横向比较和性能评估。此举不仅为行业标准化提供了基础,也推动了AI翻译技术的进一步发展。
阿里国际AIBusiness团队表示,随着翻译技术的不断进步,行业对翻译模型的要求愈加严格,TransBench正是响应这一需求而推出的评测标准。未来,阿里国际还将继续致力于AI技术的应用,帮助更多企业实现全球化发展。
随着AI翻译市场的竞争愈演愈烈,TransBench的发布无疑为行业提供了一个清晰的标杆,也让用户在选择翻译服务时多了一项可靠的参考标准。