Research snapshot · 2026-08-30
具身 System 2、VLN 与 Language 注入
从 VLN 的 POMDP 与传统 cross-modal policy 出发,逐层比较 action token、语言 subtask、pixel/map waypoint、latent plan、CoT、memory、search/value 与 fast–slow asynchronous control。重点不是罗列论文,而是回答:语言在哪一层进入、通过什么接口影响动作、报告的增益是否真的来自“推理”,下一步什么最值得做。
阅读路线
机器人里的 System 2 到底是什么
把心理学隐喻变成可检验的工程定义:时标、算力、接口、触发器与闭环。
VLN 问题、环境与指标
R2R/RxR、离散与连续控制、POMDP、SR/SPL/nDTW、碰撞和真实部署差距。
Language 注入的七种接口
token、cross-attention、language action、spatial goal、latent plan、memory/CoT 与 training-only supervision。
从 Cross-Modal Attention 到地图 Policy
CMA、DUET、BEVBert、ETPNav 如何把 instruction 对齐到当前视角、拓扑节点和 action score。
VLM Action 与 Spatial Goal
文本动作、mid-level language、pixel waypoint 与连续轨迹各自保留了什么、丢掉了什么。
DualVLN 与 Latent Plan
2 Hz VLM、30 Hz diffusion policy、显式 pixel goal、learned queries 与异步旧计划补偿。
地图、工具与显式推理
NavGPT、SEDualVLN 与 agentic VLN:把几何、frontier、rendered path 和 TODO memory 交给语言模型。
记忆、搜索、价值与自适应推理
slow4fast、Hume、OneTwoVLA、Fast-ThinkAct:何时想、想多少、怎样把经验压回快策略。
效果、消融与失败模式
把当前论文数字放回输入传感器、额外数据、基准、时延和动态场景,避免错误横比。
什么值得继续发展
可验证 plan interface、uncertainty trigger、world model、active perception、安全恢复和因果评测。
“System 2”目前不是统一协议。文中把作者自称、可观察的计算结构与我们的归纳分开写;所有百分比都按论文自己的 split、传感器和数据条件解释,不把不同实验直接当排行榜。