好消息：
哲学园推出自己的智能体啦，只要在哲学园主页点击“
发消息
”，进入对话页面，就可以向哲学园提问对话，哲学园会用自己的资料库结合大模型进化回复。哲友们都说哲学园资料库啥都有，以前是用搜索，现在升级为智能体还可以回答你的高深问题啦，赶快试试吧。
http://www.zhexueyuan.com/
在当今的 AI 领域，图灵奖得主 Yann LeCun 算是一个另类。即便眼见着自回归 LLM 的能力越来越强大，能解决的任务也越来越多，他也依然坚持自己的看法：自回归 LLM 没有光明的未来。
在近期的一次演讲中，他将自己的观点总结成了「
四个放弃
」：放弃生成式模型、放弃概率模型、放弃对比方法、放弃强化学习。他给出的研究方向建议则是联合嵌入架构、基于能量的模型、正则化方法与模型预测式控制。他还表示：「如果你感兴趣的是人类水平的 AI，那就不要研究 LLM。」
总之，他认为有望实现 AGI 或「人类水平的人工智能」的方向是
世界模型（World Model）
，其领导的团队也一直在推进这方面的研究工作，比如基于 DINO 的世界模型（DINO-WM）以及一项在世界模型中导航的研究。
近日，Yann LeCun 团队又发布了一项新研究。他们发现，只需在自然视频上进行自监督预训练，对物理规则的直觉理解就会涌现出来。似乎就像驴一样，通过观察世界，就能直觉地找到最轻松省力的负重登山方法。
-
论文标题：Intuitive physics understanding emerges from self-supervised pretraining on natural videos
-
论文地址：https://arxiv.org/pdf/2502.11831v1
-
项目地址：https://github.com/facebookresearch/jepa-intuitive-physics
该论文发布后，收获了不少好评：
直觉物理理解
要理解这篇论文，我们首先需要明确一下什么才算是「直觉物理理解」。这篇论文写到，对物理规则的直觉理解是人类认知的基础：我们会预期事物的行为方式是可预测的，比如不会凭空出现或消失、穿透障碍物或突然改变颜色或形状。
这种对物理世界的基本认知不仅在人类婴儿中有所记录， 在灵长类动物、海洋哺乳动物、鸦科鸟类和雏鸡中也有所发现。这被视为核心知识（或核心系统）假说的证据，根据该假说：
人类拥有一套与生俱来或早期进化发展的古老计算系统，专门用于表示和推理世界的基本属性
：物体、空间、数字、几何、agent 等。
在追求构建具有高级人类智能水平的机器的过程中，尽管 AI 系统在语言、编程或数学等高级认知任务上经常超越人类表现，但在常识性物理理解方面却显得力不从心，这体现了
莫拉维克悖论
，即
对生物有机体来说微不足道的任务对人工系统来说可能异常困难，反之亦然。
旨在改善物理直觉理解的 AI 模型的先前研究可以分为两类：结构化模型和基于像素的生成模型。
V-JEPA：基于自然视频涌现物理直觉
在新论文中，LeCun 等人探索了第三类模型 ——
联合嵌入预测架构（JEPA）
，它在这两种对立观点之间找到了中间立场，整合了两者的特征。
与结构化模型一样，JEPA 认为对未来世界状态的预测应该在模型的学习抽象、内部表示中进行，而不是在低级的、基于像素的预测或生成方面进行。然而，与结构化模型不同，JEPA 让算法自行学习其表示，而不是手工编码。这种在表示空间中进行预测的机制与认知神经科学的预测编码假说相一致。
新论文研究了该架构的视频版本，即
V-JEPA
，它通过在表示空间中重建视频的被掩蔽部分来学习表示视频帧。
该研究依赖于预期违反（violation-of-expectation）框架来探测物理直觉理解，而无需任何特定任务的训练或适应。通过提示模型想象视频的未来（表示）并将其预测与实际观察到的视频的未来进行比较，可以获得一个定量的意外度量（measure of surprise），该度量可用于检测违反直观物理概念的情况。
研究发现 V-JEPA 能够准确且一致地区分遵循物理定律的视频和违反物理定律的视频。
具体来说，当被要求对视频对的物理合理性进行分类时（其中一个视频是合理的，另一个不是），在自然视频上训练的 V-JEPA 模型在 IntPhys 基准测试上达到了 98% 的零样本准确率，在 InfLevel 基准测试上达到了 62% 的零样本准确率。令人惊讶的是，研究发现多模态大语言模型和在像素空间中进行预测的可比较视频预测方法都是随机执行的。
为了更好地理解哪些设计选择导致了 V-JEPA 中物理直觉理解的涌现，LeCun 等人消融了训练数据、预训练预测目标（从什么预测什么）和模型大小的影响。虽然观察到改变这些组件中的每一个都会影响性能，但所有 V-JEPA 模型都达到了显著高于随机水平的性能，包括一个小型的 1.15 亿参数模型，或者仅在一周独特视频上训练的模型，这表明在学习表示空间中进行视频预测是获得物理直觉理解的一个稳健目标。
测量直觉物理理解
测量直觉物理理解中的预期违反
预期违反范式源自发展心理学。研究对象（通常是婴儿）会看到两个相似的视觉场景，其中一个包含物理上不可能的情况。然后，研究者通过各种生理指标（如相对注视时间）获取对每个场景的「感到意外」反应，用以确定研究对象是否感受到了概念违反。
这一范式已经扩展到评估 AI 系统的物理理解能力。类似于婴儿实验，向模型展示成对的场景，除了违反特定直觉物理概念的某个方面或事件外，两个场景的所有方面（物体属性、物体数量、遮挡物等）都保持相同。例如，一个球可能会滚到遮挡物后面，但在配对的视频中再也不会出现，从而测试物体持久性的概念。模型对不可能场景表现出更高的意外反应，反映了其对被违反概念的正确理解。
用于直觉物理理解的视频预测
V-JEPA 架构的主要开发目的是提高模型直接从输入适应高层级下游任务的能力，如活动识别和动作分类，而无需硬编码一系列中间表示，如物体轮廓或姿态估计。
在这项研究中，研究团队测试了一个假设：该架构之所以在高层级任务上取得成功，是因为它学习到了一种隐式捕捉世界中物体结构和动态的表示，而无需直接表示它们。
如图 1.B 所示，V-JEPA 由一个编码器（神经网络）和一个预测器（也是神经网络）构成。编码器从视频中提取表示，预测器预测视频中人为掩蔽部分的表示，如随机掩蔽的时空块、随机像素或未来帧。编码器和预测器的联合训练使编码器能够学习抽象表示，这些表示编码可预测的信息并丢弃低层级（通常语义性较低）特征。
在自监督训练之后，可以使用编码器和预测器网络来探测模型对世界的理解，而无需任何额外的适应。具体来说，在遍历视频流时，模型对观察到的像素进行编码，随后预测视频后续帧的表示，如图 1.C 所示。通过记录每个时间步的预测误差（预测的视频表示与实际编码的视频表示之间的距离），可以获得模型在整个视频中意外程度的时间对齐定量度量。通过改变模型可以用来预测未来的过去视频帧数（上下文），可以控制记忆因素；通过改变视频的帧率，可以控制动作的精细程度。
表征预测学习检测直觉物理违反现象
研究团队在三个数据集上评估了直觉物理理解能力：IntPhys 的开发集、GRASP 和 InfLevel-lab。这些数据集的组合使研究团队能够探测各类方法对物体持久性、连续性、形状和颜色恒常性、重力、支撑、固体性、惯性和碰撞的理解。
研究团队将 V-JEPA 与其他视频模型进行了比较，以研究视频预测目标以及执行预测的表征空间对直觉物理理解的重要性。研究团队考虑了两类其他模型：直接在像素空间进行预测的视频预测模型和多模态大语言模型（MLLM）。
对于考虑的每种方法，研究团队评估了原始工作中提出的旗舰模型。研究团队进一步将所有模型与未训练的神经网络进行比较，测试直觉物理理解的可学习性。
图 1.A 总结了各方法在成对分类（即在一对视频中检测不可能的视频）中跨数据集的性能。
