在人工智能领域，每一次技术的飞跃都预示着人类智能边界的拓展。近日，李飞飞与谢赛宁团队的一项重磅研究，再次将我们的目光引向了多模态大语言模型（MLLM）的无限潜力。他们发现，这些模型不仅能够理解和生成语言，更惊人的是，它们开始展现出对空间的记忆与推理能力，仿佛一颗“空间大脑”正在觉醒，世界模型的雏形已经显现。
空间推理，这一对人类智能至关重要的能力，一直是人工智能领域的难点之一。我们依赖空间思维来构建心理模型，理解周围环境，进行导航和定位。然而，对于机器而言，这一能力却并非易事。直到最近，李飞飞和谢赛宁团队的研究才让我们看到了机器在空间智能上的突破性进展。
他们发现，多模态大语言模型在接收视觉输入后，能够记住并回忆空间信息。更令人兴奋的是，这些模型中已经出现了局部世界模型和空间意识的迹象。这意味着，模型开始能够构建出隐含的“认知地图”，来回答关于空间的问题。
为了验证这一点，研究团队开发了一个名为VSI-Bench的视频视觉-空间智能基准，包含超过5000对问答对，涵盖各种视觉空间智能任务。结果显示，尽管这些模型与人类相比仍有差距，但它们已经展现出了具有竞争力的视觉空间智能。其中，Gemini Pro模型的表现尤为亮眼。
在研究过程中，团队发现，多模态大语言模型在处理空间信息时，并不是构建一个连贯的全局模型，而是从给定的视频中生成一系列局部化的世界模型。这些模型在处理近距离物体时表现出色，但当距离变得较大时，模型的性能就会迅速下降。
这一发现揭示了多模态大语言模型在空间记忆上的局限性，但也为我们指明了未来的研究方向。开发更有效的空间记忆机制，让模型能够构建出更加完整和准确的全局模型，将是提升多模态大语言模型视觉空间智能的关键。
在研究中，团队还尝试使用语言提示技术来提高多模态大语言模型的空间推理能力。然而，他们发现，这些技术（如CoT或多数投票等）在一般的视频分析任务中可能有效，但在空间推理任务中却往往产生负面影响。
这一结果再次凸显了空间推理与基于语言的智能之间的区别。并非所有视频都是相同的，理解电影情节这样的任务更多依赖于基于语言的智能，而空间推理则需要更加复杂的视觉空间智能。因此，我们不能简单地将语言提示技术应用于空间推理任务中，而需要开发更加针对性的方法和策略。
尽管目前多模态大语言模型在空间智能上仍有诸多局限性，但这一领域的未来却充满了无限可能。随着技术的不断进步和模型的不断优化，我们有理由相信，未来的多模态大语言模型将能够构建出更加完整和准确的世界模型。
这将为人工智能在现实世界中的应用带来革命性的变化。例如，AI眼镜可以利用这些模型来显示我们去过的地方，进行定位和导航；智能家居系统可以根据我们的习惯和喜好来优化空间布局和家具摆放；自动驾驶汽车可以更加准确地感知和理解周围环境，提高行驶安全性。
此外，多模态大语言模型在空间智能上的突破还将为科学研究提供新的工具和方法。例如，在心理学领域，我们可以利用这些模型来研究人类的空间认知过程；在考古学领域，我们可以利用这些模型来重建古代建筑和遗址；在城市规划领域，我们可以利用这些模型来优化城市布局和交通规划。
李飞飞和谢赛宁团队的研究让我们看到了多模态大语言模型在空间智能上的巨大潜力。这些模型已经开始展现出局部世界模型和空间意识的迹象，为我们揭示了未来人工智能的发展方向。
然而，我们也应该清醒地认识到，目前的多模态大语言模型在空间智能上仍有诸多局限性。我们需要不断努力，开发更加有效的空间记忆机制和针对性的方法策略，以提升这些模型在视觉空间智能上的表现。
相信在不久的将来，随着技术的不断进步和模型的不断优化，多模态大语言模型将能够构建出更加完整和准确的世界模型，为人工智能在现实世界中的应用带来更加广泛和深入的影响。让我们共同期待这一天的到来吧！
关注我们，一起探索AI的无限可能！🚀✨
MORE | 延伸阅读
