先记住一句话
VLM 建立视觉—语言语义，VLA 把观测和指令直接映射成动作，WAM 再把动作与世界演化放进同一个学习问题；真正的机器人系统还必须经过实时控制与安全层。
1. 从闭环，而不是模型名开始
语言目标 g + 相机 I + 本体状态 s
↓
语义 / 空间表征 z
↓
预测 action chunk â
↓
控制器、限幅、IK / WBC
↓
机器人
↓
新观测 I', s' ──┐
└── 回到开头具身智能的关键不是一次答对，而是每执行一点动作就重新观察、重新估计并纠错。任何模型都只是这个反馈回路中的一个组件。
2. 四类模型分别学什么
| 类型 | 典型映射 | 擅长 | 缺口 |
|---|---|---|---|
| VLM | 图像 + 文字 → 文字/语义特征 | 对象、属性、关系、开放词汇 | 通常不输出可执行连续控制 |
| VLA / policy | 观测 + 指令 → 动作 | 端到端闭环控制 | 可能靠相关性反应，未显式预测后果 |
| World model | 状态/观测 + 动作 → 未来 | 学习动力学、预测与规划 | 会预测不等于会选动作 |
| WAM | 观测 + 指令 ↔ 未来 + 动作 | 联合学习“会发生什么”和“该怎么做” | 视频建模昂贵，接口设计仍在快速演化 |
3. VLA 不是“VLM 后面随便接一个头”
VLM 的语义先验很重要：它能识别“红色杯子”和理解“放进左边抽屉”。但 manipulation 还需要 VLM 预训练中很弱的信号：毫米级位置、可达性、遮挡、摩擦、接触时机和机器人自身状态。常见 VLA 因此由两部分组成：
- 语义主干：继承互联网图文预训练，处理视觉和语言。
- 动作专家：读取语义特征、本体状态与噪声动作，生成连续 action chunk。
RT-2 把动作离散成文本 token；OpenVLA 延续 token 化路线；π0 和 GR00T N1 则使用连续动作的 flow/diffusion 模块。它们都叫 VLA，但输出分布与实时特性很不同。
4. WAM 的三条主要路线
显式未来
先或同时生成未来视频，再利用未来表征产生动作。可检查“模型想象了什么”，但成本高。
隐式未来
用未来视觉 latent 作为训练目标，推理时不还原像素。便宜，但世界知识更难直接解释。
联合 token
视频、状态、动作进入同一个 Transformer，通过 mask 决定信息流，可联合或拆分去噪。
规划式 world model
预测多个候选动作后果，再用价值/目标选择。模型误差会在长 horizon 累积。
一种典型 joint-WAM 会把条件视频、待预测未来、state 与 action 打包为联合序列，共享 Transformer；视频与动作可同时做生成式建模，也可用 attention mask 切断动作对未来生成 token 的依赖，从而在部署时选择更快的 action-only inference。
5. 判断一个模型时问这七个问题
- 它看到几帧、几个视角、哪些本体状态？
- 语言是任务标签、自然语言，还是高层 subtask？
- 动作在哪个坐标系，绝对还是相对，频率多少？
- 输出单步还是 action chunk，分布如何建模？
- 未来预测是像素、latent，还是根本没有？
- 训练数据来自哪些本体，怎样混合和归一化？
- 最终证据是离线 loss、仿真 rollout，还是足量真实闭环试验？
6. 用数字建立系统量级
例 1：多模态序列长度
两路相机各 196 visual tokens，语言 32 tokens，state 8 tokens，总条件长度 $2×196+32+8=432$。若再拼 16 个 action tokens，总长 448；dense attention score 数从 $432^2=186{,}624$ 增至 $448^2=200{,}704$。
例 2：action chunk 对应多长物理时间
Policy 频率 20 Hz，chunk 有 16 步，则完整 horizon 为 $16/20=0.8$ 秒。若每次只执行前 4 步便重规划，闭环更新时间为 $4/20=0.2$ 秒。
例 3：世界模型怎样参与选动作
候选 A、B 的预测任务 reward 分别 0.9、0.7，碰撞概率 0.2、0.02。取安全代价权重 2，score A=$0.9-2×0.2=0.5$，B=$0.7-2×0.02=0.66$，所以选择较保守的 B。
例 4：端到端延迟预算
相机传输 18 ms、预处理 7 ms、策略 45 ms、安全检查 4 ms、网络与驱动 6 ms，总延迟 $18+7+45+4+6=80$ ms。20 Hz 一个周期只有 50 ms，因此会落后 30 ms。
语言推理强不等于操作强；视频预测漂亮不等于动作正确；action MSE 低也不等于闭环成功。三者需要分别验证。
自测
1. WAM 与普通 VLA 最本质的区别是什么？
WAM 把世界如何随动作演化也纳入学习目标或推理过程，而普通 VLA 可以只学习观测到动作的直接映射。
2. 为什么 VLM 不能直接等同于机器人策略？
VLM 的输出和训练数据不保证具备连续控制、机器人状态、接触动力学、实时性与安全约束。
3. 为什么隐式 future latent 也算 world modeling？
模型被要求从当前条件预测未来观测的表征，即使不解码成像素，也必须编码对未来演化有用的信息。