Research snapshot · 2026-08-30

具身 System 2、VLN 与 Language 注入

从 VLN 的 POMDP 与传统 cross-modal policy 出发,逐层比较 action token、语言 subtask、pixel/map waypoint、latent plan、CoT、memory、search/value 与 fast–slow asynchronous control。重点不是罗列论文,而是回答:语言在哪一层进入、通过什么接口影响动作、报告的增益是否真的来自“推理”,下一步什么最值得做。

10 篇架构 × 证据 × 研究路线初稿待学习

阅读路线

01Definition

机器人里的 System 2 到底是什么

把心理学隐喻变成可检验的工程定义:时标、算力、接口、触发器与闭环。

02VLN basics

VLN 问题、环境与指标

R2R/RxR、离散与连续控制、POMDP、SR/SPL/nDTW、碰撞和真实部署差距。

03Interfaces

Language 注入的七种接口

token、cross-attention、language action、spatial goal、latent plan、memory/CoT 与 training-only supervision。

04Learned VLN

从 Cross-Modal Attention 到地图 Policy

CMA、DUET、BEVBert、ETPNav 如何把 instruction 对齐到当前视角、拓扑节点和 action score。

05VLM policy

VLM Action 与 Spatial Goal

文本动作、mid-level language、pixel waypoint 与连续轨迹各自保留了什么、丢掉了什么。

06DualVLN

DualVLN 与 Latent Plan

2 Hz VLM、30 Hz diffusion policy、显式 pixel goal、learned queries 与异步旧计划补偿。

07Explicit S2

地图、工具与显式推理

NavGPT、SEDualVLN 与 agentic VLN:把几何、frontier、rendered path 和 TODO memory 交给语言模型。

08Think when needed

记忆、搜索、价值与自适应推理

slow4fast、Hume、OneTwoVLA、Fast-ThinkAct:何时想、想多少、怎样把经验压回快策略。

09Evidence

效果、消融与失败模式

把当前论文数字放回输入传感器、额外数据、基准、时延和动态场景,避免错误横比。

10Agenda

什么值得继续发展

可验证 plan interface、uncertainty trigger、world model、active perception、安全恢复和因果评测。

阅读口径

“System 2”目前不是统一协议。文中把作者自称、可观察的计算结构与我们的归纳分开写;所有百分比都按论文自己的 split、传感器和数据条件解释,不把不同实验直接当排行榜。