先记住一句话

一个“大 VLM”不自动等于 System 2;只有当它用额外上下文/计算形成可影响后续决策的计划、搜索、验证或记忆,并与快速闭环明确协调时,这个称呼才有工程信息。

画 fast loop标 slow computation定义 shared state量触发条件检查 action 因果路径测 compute-risk tradeoff
Fast loopobserve → act
uncertainty
Triggerneed more compute?
yes
Slow pathsearch / verify / plan
plan + validity
Executorclosed-loop action
System 2 的工程含义来自额外计算如何被触发、如何写回 fast loop,以及结果何时失效。

1. 四个必要问题

  1. 慢在哪里:更大模型、更长 context、多候选 search,还是地图/world-model rollout?
  2. 产出什么:文本 subtask、坐标 waypoint、latent goal、value、constraint 还是 policy update?
  3. 何时调用:固定频率、subtask 边界、uncertainty/error trigger,还是离线反思?
  4. 快系统如何消费:prompt、cross-attention、goal condition、trajectory selection 或参数更新?

2. 不是二分,而是层级

S2:任务语义 / 长程计划 / 搜索与验证       低频、上下文长
 ↓ subtask / waypoint / latent / constraint
S1:视觉运动策略 / 局部轨迹 / action chunk   高频、闭环反应
 ↓ joint target / desired motion
S0:WBC / impedance / actuator loop          200 Hz–kHz

Figure 的 Helix 02 明确给出 S2→semantic latents、S1→200 Hz 全身 joint targets、S0→1 kHz 执行的三层例子。它说明快慢是任务时间尺度的分工,不是高层“聪明”、底层“笨”。

3. 当前五种 System 2 形态

形态慢计算接口
语义分解理解开放指令、拆 subtask自然语言命令
空间规划地图/frontier/候选路径推理waypoint / pixel goal
隐式计划VLM 提取长程语义continuous latent tokens
搜索/价值采样候选并评分选中的 action/trajectory
反思/记忆总结成功失败、检索经验experience embedding / policy update

4. 显式推理不等于可靠推理

生成一段 CoT 只证明模型会输出语言。要称为有效 System 2,至少要做干预:移除/打乱 reasoning 是否改变动作?替换为 oracle/wrong plan 是否呈单调变化?更多 test-time compute 是否带来可预测收益?若 action branch 根本看不到 CoT,那么 CoT 可能只是辅助训练信号,而非 inference-time planner。

5. 分离与统一的张力

两个模型分离,接口可解释、组件可独立扩展,但会遇到 planner 输出 executor 做不到的动作、时延造成 stale plan、训练分布不一致。OneTwoVLA 用同一 VLA 的 [BOR]/[BOA] token 自适应切换 reasoning/action,减少能力错配;代价是模块边界、独立验证和安全隔离更难。

6. 异步不是实现细节

若 S2 2 Hz、S1 30 Hz,S1 在大多数时刻拿到的是旧计划。可靠系统必须表示 plan timestamp/reference observation、估计执行进度、检测计划失效并决定继续、修正或重规划。简单把两线程并行不等于解决了 temporal alignment。

7. 一条可操作定义

本文把 embodied System 2 定义为:在基础 reactive policy 之外,使用更长时域或更多条件计算构造中间决策变量,并通过明确接口、触发机制和反馈闭环改善长程任务、OOD、恢复或安全。它可以用语言,也可以主要用地图、value 或 latent;“语言”不是定义的必要条件。

8. 四个 fast–slow 预算计算

例 1:multi-rate coordination

Fast controller 30 Hz、slow planner 2 Hz;每份 plan 的 0.5 s 间隔内 fast loop 执行 30/2=15 次。计划必须携带 reference time 和 completion state,不能只发一次坐标。

例 2:stale plan 位移

Robot 0.8 m/s,slow inference latency=0.75 s。新 plan 返回时机器人已移动 0.8×0.75=0.60 m;若 planner 仍以旧 pose 为原点,goal 会系统性偏移。

例 3:search branching cost

每个节点 4 个候选、向前搜索 depth=3,完整树节点约 1+4+16+64=85。Depth 从 3 加到 5 会到 1365,不是线性增长。

例 4:adaptive compute 平均成本

Fast step=5 ms;20% 状态触发额外 80 ms reasoning。平均 compute=5+0.2×80=21 ms,远低于每拍常开 85 ms,但触发状态仍要满足 deadline。

判断论文时:

把 “System 2” 标签遮住,只画出 dataflow、frequency 和 loss。如果仍能指出额外计算如何改变 action,概念才站得住;否则更可能只是品牌化命名。

自测

1. 为什么 VLM 大并不意味着 System 2?

若它仍只做单次 observation→action 映射,没有额外计划、搜索、记忆、触发或不同时间尺度,结构上仍可能是 flat reactive policy。

2. 显式文本接口最大的优缺点是什么?

可读、可编辑、可接工具;但带宽低、时延高、空间精度差,并可能输出 executor 不可执行的命令。

3. fast–slow 系统最容易忽略的状态是什么?

计划生成时对应的观察和时间戳;没有它就无法判断计划是否已经过期。

一手资料

Figure Helix 02给出 S2/S1/S0 的 3 层时标;DualVLN展示 2 Hz VLM 与 30 Hz policy;OneTwoVLA展示单模型 adaptive reasoning/action switch。