别让AI一上来就“进厂打螺丝”：智源要先教模型理解世界如何变化

允中 发自 凹非寺

今天的AI已经很会

“输出”

了。

语言模型预测下一个token，于是可以回答问题、写文章、写代码。图像和视频模型预测下一帧，于是可以生成越来越逼真的视觉内容。具身模型预测下一步动作，于是机器人开始能够完成抓取、放置、整理等任务。

但这些能力背后，仍然有一个更底层的问题：

模型到底是在学会某一种输出，还是已经理解了世界状态本身如何变化？

智源研究院悟界·RoboBrain Orca Team发布的技术报告Orca: The World is in Your Mind，想探索的正是这个问题。

项目主页：https://orca-wm.github.io

技术报告：https://arxiv.org/abs/2606.30534

悟界·RoboBrain Orca发布后，迅速获得了海外研究社区的关注。

多位研究者将其讨论重点，放在了“真正的多模态表征世界模型”上：

Orca并不是把文本、图像、视频、动作简单拼接在一起，而是

尝试在统一的世界潜空间中，学习它们背后的共同状态与演化规律

。

也有评论认为，

Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种世界表征读出到理解、预测和行动任务中。

△Orca在海外研究社区引发讨论：从多模态表征、世界状态建模，到早期通用世界模型的可能形态

与此同时，Orca也登上了Daily Papers月度榜单，并在Hugging Face、X等社区获得持续关注。

可以看到，世界模型正在成为下一阶段AI研究中被持续关注的重要方向。

△HF论文月榜排名第一

悟界·RoboBrain Orca并非一个更会聊天的大模型，也不是一个单纯追求视觉真实感的视频生成模型，更不是一个只面向机器人的动作策略模型。

它想走的是一条更基础的路线：

先让模型学习统一的世界状态表征，再从这个表征中读出理解、预测和行动能力。

换句话说，Orca关注的是：

当前世界处于什么状态，以及这个状态在自然演化、事件条件或外部干预下，会如何转移到另一个状态。

这就是Orca Team所探索的Next-State Prediction。

“我们不会让一个3岁小孩进工厂，打10万小时螺丝。”这是Orca Team解释这项工作时，用过的一个比喻。

这句话不只是在说机器人，也是在说今天很多AI模型的共同处境：语言模型被训练去预测下一个词，视频模型被训练去生成下一帧，具身模型被训练去模仿下一步动作。

它们看起来任务不同，但底层逻辑很像——一上来就把模型放进某个具体工位，让它围绕某一种输出反复练习。

这条路当然有效，但问题是，一个还没有理解世界的模型，真的能只靠“打螺丝”，走向通用吗？

Orca团队的判断是：

顺序可能要反过来。别急着让模型学“下一步怎么动”，先让它上一堂关于世界的“义务教育”课。

先利用多模态世界信号学习好世界表征；再做好一切任务

这也是Orca的核心哲学：

The World is in Your Mind.

人在不会讲话之前，就能通过看学习到客观的世界，例如风吹叶落；在成长中，人类还可以通过一句话、一本说明书感知并理解具体事件。

Orca将它们抽象为两类互补的学习方式：

无意识学习和有意识学习

。

第一类是无意识学习。

模型从连续视频中学习自然、稠密的状态变化，不依赖显式语言标注。

比如一个物体如何移动，手与物体如何接触，场景如何随时间演化。这类学习对应真实世界中大量连续观察，帮助模型捕捉自然动态。

△图片为AI生成

第二类是有意识学习。

模型引入语言和事件，让状态转移不只来自连续观察，也可以被语义条件约束。

语言可以描述一个事件、一个任务意图，或一个要达到的目标状态。模型需要在当前观察和语言条件之间建立联系，学习稀疏但更有意义的状态变化。

两类学习共同服务于同一个目标：构造一个能够表达世界状态、并支持状态转移建模的world latent。

Orca Team构建了自动化筛选、标注管线，从海量的互联网数据中处理后，得到了

12.5万小时视频、1.6亿条事件标注和1150万条VQA的数据库存

。

这些数据共同构成了Orca学习状态转移的基础。

这些数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源。

换句话说，Orca并不是只在机器人轨迹、图像编辑任务或单一问答数据上训练，而是

从更丰富的真实世界信号中学习统一的世界潜空间

。

FSDP2升级

：实现更灵活的参数与优化器状态分片，并对轻量级视觉块取消分片以减少调度开销；

分块交叉熵损失（Chunked Cross-Entropy Loss）

：避免在前向传播中一次性实例化完整的Logits张量，大幅降低显存峰值；

前向/后向预取（Forward/Backward Pre-fetching）

：让FSDP的All-Gather通信与当前层的计算充分重叠。

在H100集群上，这些优化将训练吞吐量从StarVLA基线的0.66提升至

2.91 Samples/Sec/GPU

，实现了

4.4倍

的显著加速。

世界表征听起来很诱人。但真正重要的问题是：它能不能被验证？

Orca的实验设计，围绕两个问题展开：

第一，随着预训练数据增加，world latent会不会变强？第二，一个更强的world latent，能不能带来更好的下游能力？

为了回答这两个问题，团队没有把Orca backbone和下游任务一起端到端训练到最强。

相反，他们在下游阶段冻结Orca backbone，只训练轻量的readout模块，

这样做很关键

。

如果整个系统一起训练，最后效果变好了，很难判断到底是Orca的world latent有用，还是后面的decoder或policy自己重新学会了任务。

但如果backbone保持冻结，只换不同的轻量读出接口，仍然能读出语言、图像和动作能力，就更能说明：真正提供信息的是Orca学到的世界表征。

因此，Orca设计了三类readout：

文本读出

，用于验证模型能否把世界表征转成理解和推理能力。

图像读出

，用于验证模型能否根据当前状态和条件，预测未来视觉状态。

动作读出

，用于验证模型能否把世界表征迁移到真实机器人控制中。

这三类能力分别对应：

理解、预测、行动

，也就是一个世界模型最应该具备的三件事。

实验中，一个重要观察是：随着预训练数据规模增加，Orca的训练损失持续下降，没有很快饱和。

更关键的是，从不同训练阶段取出的checkpoint也显示出：随着预训练推进，文本、图像和动作readout的表现同步提升。

这说明Orca探索了一条具有扩展潜力的世界学习路线。

值得注意的是，所有对比结果均来自于一套预训练主干ckpt，并且没有使用一条刷榜数据。

在文本生成和视觉问答任务中，Orca与多类视觉语言模型和世界模型进行了对比。

结果显示，在

4B

规模下，Orca在多项综合评测中取得了更高的平均表现。

但更值得注意的是，它的提升并不是平均分的简单堆高，而是集中体现在状态转移、事件演化、动态运动理解等维度上。

这很符合Orca的出发点：

让模型理解画面中的事物接下来会如何发展、事件之间如何推进、当前状态和未来状态之间有什么关系。

对于一个世界模型来说，这比普通视觉问答更关键。

因为真实世界不是静态图片的集合，而是一个持续变化的系统。

这和传统图像生成不是一回事。

很多图像模型擅长生成视觉上精美、符合先验的画面。

它不能随意补出一个看起来合理但并不存在的物体。不能让机器人本体消失。不能破坏原本的空间关系。也不能忽略指令真正要求的状态变化。

在真实交互场景中，Orca的图像读出更强调“未来状态是否合理”。

它能更好地保持机器人形态、物体布局、场景一致性和指令约束，生成更符合真实交互过程的下一状态。

所以，Orca展示图像读出，并不是为了证明自己会“画图”，而是为了把图像作为一种可视化验证：

模型是否真的知道，当前世界在某个条件下应该变成什么样。

△现有的图像生成模型存在着指令不遵循、凭空出现物体和人手，以及刻板的物理印象

悟界·RoboBrain Orca最值得关注的实验之一，来自真实机器人动作读出。

在预训练阶段，Orca没有使用带action label的机器人轨迹。

也就是说，它没有提前学习某个机械臂应该如何移动，也没有在大规模动作数据上模仿机器人策略。

但在下游动作任务中，团队冻结Orca backbone，只接入一个从零训练的DiT-style Action Expert。每个任务只使用200条域内轨迹进行后训练。

二元成功率、白盒过程打分和黑盒模型打分结果显示，在物体泛化和场景泛化的OOD任务中，Orca仍然能带来明显增益。

这件事的重要性在于：Orca并不是通过预训练直接记住机器人动作，而是先学到的是世界状态变化。

尤其是在失败恢复上，这一点更明显。

为了进一步分析Orca的能力来源，团队还做了消融实验。

分别移除无意识状态转移、有意识事件转移和VQA语言监督，观察文本、图像和动作读出的变化。

结果显示，三类目标各自承担了不同作用。

悟界·RoboBrain Orca并不想把自己包装成“世界模型已经完成”。

相反，Orca团队在技术报告中充分讨论了当前限制。

Orca的价值，不在于宣称自己已经完成了世界模型，它更像是在给当前纷乱的World Model讨论，提出一个新的坐标系：

世界模型不应只被某一种输出模态定义

。

它更应该学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。

未来，这条路线也不只服务机器人。物理系统、生命过程、宏观宇宙、微观量子、科学实验，本质上都可能包含状态、干预和转移。

不同领域当然需要不同数据和建模方式，但“

学习世界状态如何变化

”这个问题本身，具有更基础的意义。

AI的下一步，也许不是更快地输出答案、生成画面或执行动作，而是先在内部建立一个足够稳定、可预测、可迁移的世界。

The World is in Your Mind.