H-JEPA，LeCun世界模型创业交卷，代码权重全部开源

LeCun创立的世界模型企业AMI（Advanced Machine Intelligence），最近悄然发布了其最新成果。

在一篇名为H-JEPA的新论文中，AMI携手纽约大学、巴黎INRIA以及布朗大学的研究人员，推出了专为视觉规划设计的分层世界模型。

H-JEPA通过将多个JEPA模型逐层叠加，使得每一层都能在其专属的表征空间内，预测不同时间跨度后的未来状态。

在规划过程中，高层级负责制定宏观计划，并将预测出的中间状态作为子目标传递给低层级；低层级则接力进行逐步细化，最终生成可执行的行动指令。

借助这种分工机制，该世界模型既能规划远期目标，也能处理即时的动作指令。

在Visual AntMaze仿真迷宫测试中，三层结构的H-JEPA实现了73% 的成功率，而单层模型仅为18%。

此外，在多项仿真任务里，分层模型以更少的规划计算量，取得了更优的性能表现。

除了交出亮眼的测试成绩，H-JEPA也延续了LeCun在创业初期就强调的开源策略。

研究团队同步公开了代码和预训练模型权重，其他研究者可直接加载模型，复现规划实验。

为何世界模型需要分层规划？

关于这一点，LeCun其实早已多次提及。

早在2022年，当时仍在Meta担任首席AI科学家的他就提出了分层JEPA的设想：让模型在不同抽象层级和时间尺度上进行预测，再通过分层规划，将复杂目标转化为具体动作。

这个理念听起来可能有些抽象，但用LeCun常举的例子来解释，就很容易理解了。

假设你正坐在纽约大学的办公室里，计划前往巴黎。规划整趟行程时，你关注的是目的地、航班以及时间安排。

确定行程后，你开始进一步安排如何离开办公室、下楼、打车前往机场。

而当你真正走出办公室时，关注的信息又变成了眼前的地面、楼梯，以及下一步该落在哪里、先迈哪只脚。

这些规划层级既覆盖了不同的时间跨度，也需要不同的信息。规划航程时，脚下某一级台阶的高度并不重要；但走下楼梯时，这个细节却直接决定了你该如何迈步。

这并非人类规划独有的特性。对于机器人而言，高层级需要理解任务目标、环境关系以及未来方向，低层级则需要掌握具体的动作和身体控制细节。

例如，四足机器人已经抵达目标位置，但若其腿部姿态与目标画面不一致，模型仍可能因这些差异而认为自己离目标很远。

于是，问题就变成了：如何让不同层级分别学习适合自身的信息表征，再把高层计划逐步落实为低层动作？

H-JEPA具体如何实现？

具体来说，为了解决上述问题，H-JEPA在每一层都配置了三个组件，分别负责处理状态、动作和预测。

其中，状态编码器负责提取当前环境的表征。最低层直接读取图像，更高层则基于下层表征进行进一步抽象，保留该时间尺度下更重要的信息。

动作编码器负责描述动作带来的变化。低层表示具体动作，高层则将一段连续动作压缩为更粗粒度的变化。

预测器则结合当前状态和动作，预测未来状态。不同层级覆盖不同的时间跨度，在论文实验中，相邻高层的一步对应低层的两步预测。

在模型训练方面，各层通过端到端训练共同学习，不同层级通过子目标衔接。

高层预测出的中间状态成为低层的子目标，低层会将自己预测的状态转换到高层的表征空间，与高层指定的子目标进行比较，并据此调整动作。

然而，在训练世界模型时，还需解决一个经典问题：表征坍塌。

如果编码器将所有输入都压缩成同一个向量，预测器只输出这个向量，也能获得很低的预测误差，但模型实际上并未学到任何有用信息。

为此，H-JEPA沿用了LeCun团队此前在LeJEPA中提出的SIGReg方法，对表征分布进行约束，避免不同状态被压缩到同一个向量。

今年的LeWorldModel将这套方法应用于世界模型训练。H-JEPA则以它为最底层，向上增加更多JEPA，形成共同训练、由上至下规划的结构。

在实验中，研究者进一步观察到了不同层级的信息取舍。在迷宫任务中，高层逐渐弱化了对腿部姿态的关注，但仍保留了机器人的位置信息。

不过，分层也有其适用条件。在Push-T任务中，两层模型表现较好，但增加到三层、四层后，成绩反而下降。

论文认为，这可能是由于较短的任务轨迹限制了高层可用的训练数据。

LeCun，依旧是那个LeCun

总体而言，H-JEPA的这些设计延续了JEPA的一项基本主张：在表征空间中完成预测。

JEPA的全称是“联合嵌入预测架构”。LLM通常通过预测下一个token来学习生成内容；而视觉JEPA则先将图像、视频编码成内部表征，再预测目标部分的表征，无需逐个生成图像像素。

在H-JEPA这类世界模型中，模型还会结合动作，预测未来状态的表征。规划器据此比较不同动作的后果，寻找通向目标的方案。

LeCun一直认为，理解世界、预测行动后果以及规划，是迈向人类级智能所必需的能力。他对LLM的判断也始终围绕这一点。

今年9月，在瑞典马尔默举行的ECCV上，他的演讲幻灯片再次出现了那句熟悉的建议：如果你对人类级AI感兴趣，就不要研究LLM。

这张幻灯片传到社交平台后，有人怀疑其真实性。LeCun回复：包是真的。

他随后补充道，基于LLM的AI工具非常有用，大家都在使用。但他认为，单靠LLM本身无法达到人类级智能。

如今，这套研究主张也成为了AMI的创业方向。

今年3月，AMI宣布完成了10.3亿美元融资，投前估值35亿美元。

公司由LeCun担任董事长，Alexandre LeBrun担任CEO，谢赛宁担任首席科学家，Pascale Fung负责研究与创新，Michael Rabbat负责世界模型，而Rabbat也是这次H-JEPA论文的作者之一。

不过，研究成果归研究成果，外界对AMI的另一个期待，仍然是产品。

至少从目前官网来看，公司主要展示的是技术方向、团队以及招聘信息，尚未看到面向公众的产品入口。

另一边，同样押注世界模型的World Labs，已经迎来了新的转折。

9月28日，AMD宣布与李飞飞创办的World Labs签订了约82亿美元的全股票收购协议。

可以说，一边正在走向与芯片公司的结合，另一边则继续沿着自己的研究路线向前推进。

但随着李飞飞的世界模型创业取得里程碑式的进展，Yann LeCun的重大成果是否也只是时间问题了呢？

参考链接

[1]https://venturebeat.com/technology/h-jepa-teaches-world-models-to-plan-at-multiple-levels-of-abstraction

[2]https://arxiv.org/pdf/2610.06805

本文来自微信公众号“量子位”，作者：henry，36氪经授权发布。