近日，腾讯正式发布了HunyuanWorld-Voyager，这是一种创新的视频扩散框架，旨在通过单张输入图像生成具备世界一致性的3D点云，支持用户按自定义的相机路径进行沉浸式探索。
官方表示，这全球首个具备原生3D重建功能的超远距离世界模型，重新定义AI驱动的VR、游戏和仿真空间智能。
直接3D输出:无需COLMAP等工具即可将点云视频导出为3D格式，实现即时3D应用。
创新的3D内存:引入可扩展的世界缓存机制，确保任何摄像机轨迹的几何一致性。
HunyuanWorld-Voyager的架构包含两个关键组件。首先是“世界一致的视频扩散”，该组件提出了一种统一的架构，可以基于已有的世界观测，同时生成准确对齐的RGB视频和深度视频序列，从而确保全局场景的一致性。其次是“长距离世界探索”，它采用了一种高效的世界缓存机制，结合点云剔除和自回归推理能力，支持迭代场景扩展，并通过上下文感知的一致性技术实现平滑的视频采样。
为了训练HunyuanWorld-Voyager模型，研究团队构建了一套可扩展的数据构建引擎。这一自动化视频重建流水线能够对任意输入视频自动估计相机位姿和度量深度，因此无需依赖人工标注，从而实现大规模、多样化训练数据的构建。基于此流水线，HunyuanWorld-Voyager整合了真实世界采集和虚幻引擎渲染的视频资源，构建了一个包含超过10万个视频片段的大规模数据集。
在实验评估中，HunyuanWorld-Voyager在视频生成质量方面表现出色。与四种开源的相机可控视频生成方法进行了对比，结果显示该模型在PSNR、SSIM和LPIPS等指标上均优于其他模型，证明了其卓越的视频生成质量。同时，在场景重建方面，HunyuanWorld-Voyager的生成视频在几何一致性上也显现出更好的效果。
此外，HunyuanWorld-Voyager在WorldScore静态基准测试中获得了
划重点:
🌍HunyuanWorld-Voyager能够基于单张输入图像生成具有世界一致性的3D点云，支持用户沉浸式探索。
🎥该模型同时生成精确对齐的深度信息和RGB视频，适用于高质量三维重建。
🏆在多个测试中，HunyuanWorld-Voyager在视频生成质量和场景重建效果上均优于其他模型。
相关文章
