近日,DeepMind在其
在论文中,DeepMind的研究团队提出了一个大胆的想法:视频生成模型是否能像当前的大语言模型(LLM)一样,具备通用的视觉理解能力,能够处理各种视觉任务而不需专门训练?目前,机器视觉领域仍在传统阶段,各种任务需要不同的模型来处理,例如物体分割、物体检测等,每次换任务都要重新调教模型。
为了验证这个想法,研究团队使用了一种简单粗暴的方法:只给模型提供一个初始图像和一段文字指令,看看它能否生成一个720p分辨率、时长8秒的视频。这种方法与大语言模型通过提示进行任务的方式类似,目的是测试模型的原生通用能力。
结果显示,DeepMind的Veo3模型在多个经典视觉任务上表现优异,显示出它具备感知能力、建模能力和操控能力。更令人惊讶的是,它在进行跨时空视觉推理时表现出色,成功规划了一系列路径,从而能够解决复杂的视觉难题。
总体来看,DeepMind团队总结了以下三大核心结论:
普遍适应性强:Veo3能够解决许多未接受专门训练的任务,展现出强大的通用能力。
视觉推理初现雏形:通过分析生成的视频,Veo3显示出了类似于“帧链”的视觉推理能力,逐步建立起对视觉世界的理解。
快速发展趋势明显:尽管特定任务模型表现更优,Veo3的能力正在迅速提升,预示着未来可能出现更强大的通用视觉模型。
未来,DeepMind认为,通用的视频模型将可能取代专用模型,就像早期的GPT-3最终成为强大的基础模型一样。随着成本的逐步降低,视频生成模型的广泛应用指日可待,预示着机器视觉的新时代正在向我们走来。
论文地址:https://papers-pdfs.assets.alphaxiv.org/2509.20328v1.pdf