先记住一句话
一个“大 VLM”不自动等于 System 2;只有当它用额外上下文/计算形成可影响后续决策的计划、搜索、验证或记忆,并与快速闭环明确协调时,这个称呼才有工程信息。
1. 四个必要问题
- 慢在哪里:更大模型、更长 context、多候选 search,还是地图/world-model rollout?
- 产出什么:文本 subtask、坐标 waypoint、latent goal、value、constraint 还是 policy update?
- 何时调用:固定频率、subtask 边界、uncertainty/error trigger,还是离线反思?
- 快系统如何消费:prompt、cross-attention、goal condition、trajectory selection 或参数更新?
2. 不是二分,而是层级
S2:任务语义 / 长程计划 / 搜索与验证 低频、上下文长
↓ subtask / waypoint / latent / constraint
S1:视觉运动策略 / 局部轨迹 / action chunk 高频、闭环反应
↓ joint target / desired motion
S0:WBC / impedance / actuator loop 200 Hz–kHzFigure 的 Helix 02 明确给出 S2→semantic latents、S1→200 Hz 全身 joint targets、S0→1 kHz 执行的三层例子。它说明快慢是任务时间尺度的分工,不是高层“聪明”、底层“笨”。
3. 当前五种 System 2 形态
| 形态 | 慢计算 | 接口 |
|---|---|---|
| 语义分解 | 理解开放指令、拆 subtask | 自然语言命令 |
| 空间规划 | 地图/frontier/候选路径推理 | waypoint / pixel goal |
| 隐式计划 | VLM 提取长程语义 | continuous latent tokens |
| 搜索/价值 | 采样候选并评分 | 选中的 action/trajectory |
| 反思/记忆 | 总结成功失败、检索经验 | experience embedding / policy update |
4. 显式推理不等于可靠推理
生成一段 CoT 只证明模型会输出语言。要称为有效 System 2,至少要做干预:移除/打乱 reasoning 是否改变动作?替换为 oracle/wrong plan 是否呈单调变化?更多 test-time compute 是否带来可预测收益?若 action branch 根本看不到 CoT,那么 CoT 可能只是辅助训练信号,而非 inference-time planner。
5. 分离与统一的张力
两个模型分离,接口可解释、组件可独立扩展,但会遇到 planner 输出 executor 做不到的动作、时延造成 stale plan、训练分布不一致。OneTwoVLA 用同一 VLA 的 [BOR]/[BOA] token 自适应切换 reasoning/action,减少能力错配;代价是模块边界、独立验证和安全隔离更难。
6. 异步不是实现细节
若 S2 2 Hz、S1 30 Hz,S1 在大多数时刻拿到的是旧计划。可靠系统必须表示 plan timestamp/reference observation、估计执行进度、检测计划失效并决定继续、修正或重规划。简单把两线程并行不等于解决了 temporal alignment。
7. 一条可操作定义
本文把 embodied System 2 定义为:在基础 reactive policy 之外,使用更长时域或更多条件计算构造中间决策变量,并通过明确接口、触发机制和反馈闭环改善长程任务、OOD、恢复或安全。它可以用语言,也可以主要用地图、value 或 latent;“语言”不是定义的必要条件。
8. 四个 fast–slow 预算计算
例 1:multi-rate coordination
Fast controller 30 Hz、slow planner 2 Hz;每份 plan 的 0.5 s 间隔内 fast loop 执行 30/2=15 次。计划必须携带 reference time 和 completion state,不能只发一次坐标。
例 2:stale plan 位移
Robot 0.8 m/s,slow inference latency=0.75 s。新 plan 返回时机器人已移动 0.8×0.75=0.60 m;若 planner 仍以旧 pose 为原点,goal 会系统性偏移。
例 3:search branching cost
每个节点 4 个候选、向前搜索 depth=3,完整树节点约 1+4+16+64=85。Depth 从 3 加到 5 会到 1365,不是线性增长。
例 4:adaptive compute 平均成本
Fast step=5 ms;20% 状态触发额外 80 ms reasoning。平均 compute=5+0.2×80=21 ms,远低于每拍常开 85 ms,但触发状态仍要满足 deadline。
把 “System 2” 标签遮住,只画出 dataflow、frequency 和 loss。如果仍能指出额外计算如何改变 action,概念才站得住;否则更可能只是品牌化命名。
自测
1. 为什么 VLM 大并不意味着 System 2?
若它仍只做单次 observation→action 映射,没有额外计划、搜索、记忆、触发或不同时间尺度,结构上仍可能是 flat reactive policy。
2. 显式文本接口最大的优缺点是什么?
可读、可编辑、可接工具;但带宽低、时延高、空间精度差,并可能输出 executor 不可执行的命令。
3. fast–slow 系统最容易忽略的状态是什么?
计划生成时对应的观察和时间戳;没有它就无法判断计划是否已经过期。