Harness VLA 论文解读

• 论文标题：Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents
• arXiv URL：https://arxiv.org/abs/2607.08448
• 阅读版本：arXiv v3，2026-07-15，cs.RO；当前是 arXiv 预印本
• 解读方法：paper-reading GitHub skill 的 Standard interpretation 模式
• 证据范围：以论文 v3 全文及附录为主要证据；项目页与官方代码仓库只用于确认实现是否公开

一句话结论

Harness VLA 的关键不是改造或微调 VLA，而是改变 VLA 在机器人系统里的职责：让带记忆的 LLM planner 负责语言理解、目标重定位、长程编排和失败恢复，只在局部、接触丰富的阶段调用冻结 VLA；这套系统在分布偏移任务上明显优于直接运行同一冻结 VLA，但它依赖任务级参考样本、RGB-D/world map、解析控制器和高能力 LLM，论文尚未充分回答成本、真实机器人泛化和各组件独立贡献。

阅读优先级：A — 推荐精读。 理由是问题重要、系统分工有实质性差异，而且有跨三类模拟环境、同一冻结 VLA 后端的直接对照；但应把它当作一篇 agentic robotics / 系统架构论文，而不是新的 VLA 网络结构或训练算法论文。

1. 研究背景与问题

1.1 任务是什么

目标是让机器人根据自由形式的自然语言，在物体、布局和机器人形态发生变化时，仍能可靠完成桌面操作、厨房长程任务和双臂操作。系统输入包括：

• 自然语言任务 $\ell$；
• RGB 图像 $I_t^{\mathrm{rgb}}$；
• 与 RGB 对齐的度量深度图 $I_t^{\mathrm d}$；
• 末端位姿和夹爪状态等本体状态 $q_t$。

输出不是一条一次性动作轨迹，而是由 planner 连续选择的一系列结构化操作原语，最终以 benchmark 的二值成功谓词 $\mathcal G$ 判断是否完成任务。[Paper §2.1]

1.2 两条主流路线各自卡在哪里

论文把既有方法概括为两个互补但都不完整的极端：

1. 端到端 VLA 擅长图像条件下的局部接触控制，例如不规则物体抓取、狭窄放置、开关/抽屉/水龙头操作；但一个模型同时承担语言 grounding、长程分解和低层控制，遇到指令重定向、目标重绑定、物体位置交换或一次接触失败时，容易复现训练轨迹中的惯性行为并让错误传播到整条 rollout。
2. LLM coding agent + 解析原语 擅长语言推理、任务分解、显式 API 编排和自我修正；但逆运动学、笛卡尔移动等解析控制器很难可靠完成不规则抓取、紧约束插放和铰接物体交互。[Paper §1, §4]

作者认为真正的问题不是“还缺多少新技能”，而是把不同能力放错了层级：VLA 被要求解决太多语义和长程问题，LLM/解析控制器又被要求处理太多脆弱接触问题。[Paper §1; Paper Fig. 2]

2. 核心创新：把冻结 VLA 从整条策略降为可重试的局部工具

可以把论文的因果链压缩为：

单体 VLA 在分布偏移和长程任务上脆弱
→ planner 显式接管语义重定位与非接触运动
→ 冻结 VLA 只通过 vla_act 处理局部接触
→ 每次接触失败都能被观察、重新摆位并重试
→ 参考任务中学到的原语顺序和失败规则写入记忆
→ 在新布局/新 seed 中重新 grounding，而不是重放坐标。

2.1 非对称分工

vla_act 是唯一的学习型原语，负责抓取、受限放置、按钮、抽屉/门、水龙头、插入和双臂接触等操作。解析原语负责可几何化、可重复的部分：移动末端、调姿、夹爪开合、释放、底盘导航和重新摆位。planner 不生成 torque、joint target 或 action chunk，只选择原语并绑定参数。[Paper §2.3; Paper Table 1; Appendix B]

这里的创新不是某个新模块名字，而是信息流和控制权的重新分配：

• 语义和当前场景绑定在 planner 中显式完成；
• 解析原语把机器人送进 VLA 熟悉的局部状态分布；
• VLA 只在其训练经验最有价值的接触区域运行；
• 接触失败被局部化，不必推翻整条长程策略。[Paper Fig. 2; Paper §3.3]

2.2 固定原语词表，而非部署时增长技能库

共享接口包含 6 个解析原语和 1 个 VLA 原语：move_to、move_pose、rotate_wrist、rotate_pitch、set_gripper、release、vla_act。RoboCasa365 因移动底盘额外提供 navigate_to 和 move_base；RoboTwin 不加新原语名，而用 arm 参数绑定左右臂。[Paper Table 1; Appendix Table 8]

“固定”应理解为每个评测环境在正式部署前固定，评测时不能临时发明新技能，而不是所有机器人使用完全相同的底层控制器。不同环境可以有不同 solver、可用原语和机械臂绑定。[Paper §2.3; Appendix B]

2.3 两类记忆

• Task Specific Memory：某个任务在参考 seed 上跑通后的程序性骨架。JSONL 保存原语顺序、VLA 调用位置以及接触—运输—释放的切换点；JSON audit 保存策略为何有效、遇到过什么失败。部署时只复用结构，所有对象、支撑面、目标位姿和像素都从当前 RGB-D/world map 重新定位，不能照抄参考坐标。[Paper §2.2; Appendix A, E.3]
• Global Memory：跨任务积累的原语使用规则和失败模型，例如如何识别空抓、何时不要依据视觉接近就误判成功、失败后应先重新定位再重试。[Paper §2.2; Appendix A, E.4]

一个重要澄清是：文中的“learn”主要指 planner 通过尝试把操作经验写入外部记忆，不是对 VLA 参数做梯度更新。Harness 学会的是“什么时候、从什么状态、用什么提示、调用哪种原语”，而不是重新学习低层动作模型。[Paper §2.2]

3. 具体方法：一次任务是怎样执行的

3.1 形式化对象

论文没有提出新的训练损失或复杂数学推导，核心形式化是一个闭环：

其中 $\Pi$ 是高层 agentic planner，$\mathcal P$ 是固定原语库，$c_t$ 是一条 JSON 原语调用；冻结 VLA 记为 $f_\theta$。环境执行 $c_t$ 直到该原语的内部停止条件满足，再返回 $o_{t+1}$。循环直到成功谓词 $\mathcal G$ 成立或预算耗尽。[Paper §2.1]

3.2 端到端流程

1. planner 读取任务、RGB-D、机器人状态、Task Specific Memory 与 Global Memory。
2. 从 RGB 判断语义对象，从对应 depth/world map 的多个稳定像素估计世界坐标；禁止读取 simulator 的真实物体位姿。
3. 选择一个原语并写成 JSON，例如移动到某个世界坐标，或调用 vla_act(prompt, max_chunks, stop)。
4. 环境 worker 执行该原语，并返回新图像、状态、执行日志和完成标志。
5. planner 把结果诊断为进展、可恢复失败或不可恢复失败，然后继续、重新摆位、重试 VLA 或终止。
6. benchmark 自带的任务完成谓词才决定最终成功；单个原语的 post-condition 只决定何时把控制权交回 planner。[Paper Fig. 1; Appendix A, C, E.2]

论文用文件式 REPL 实现这个闭环：command.json 传命令，state_NN.json、RGB-D/world map、log_NN.json 和完成标志返回观测与诊断。这种设计的价值是每个物理动作都有审计记录，也迫使 planner 在下一步前观察反馈。[Appendix A; Appendix Table 7]

3.3 两阶段生命周期

阶段一：探索式 bootstrapping。 对每个任务使用一个参考 seed。planner 可 reset，wall-clock 预算较宽松，尝试不同的摆位顺序、接触前姿态、vla_act 调用时机、提示和停止阈值；成功后保存 Task Specific Memory，并把可迁移规则/失败模型写入 Global Memory。[Paper §2.2]

阶段二：正式部署评测。 在未用于 bootstrapping 的 seed 或随机化场景中禁用 reset，缩短动作预算，读取参考 trace，但必须按当前视觉重新 grounding。报告的 few-shot 成绩来自这个阶段，而不是参考 seed 本身。[Paper §2.2; Appendix C]

因此，这套方法真正实现的是任务级少样本适配后对新初始状态的迁移。它不是对所有 LIBERO-Pro/RoboCasa 任务都完全 zero-shot；论文另行设置了不读取目标设置 Task/Global Memory 的严格 zero-shot 实验。[Paper §3.2]

3.4 为什么重试可能有效

部署扰动往往没有摧毁 VLA 的局部接触能力，而是让 VLA 从错误目标、错误视角或错误接触前姿态开始。解析控制先把机器人移到“VLA 熟悉的局部状态”，VLA 只尝试短接触；如果抓空或放置不稳，planner 从新观测中诊断并再次摆位。这样，一次随机或物理脆弱的接触失败不会污染后续全部动作。[Paper §3.3, Key Finding 2; Paper Fig. 4–5]

4. 实验设计

4.1 Benchmark、后端和规模

[Paper §3.1; Appendix C, Table 9–13; Appendix D]

planner 有两个实例：Codex 和 Claude Code（CC）。二者共用接口、记忆与 VLA 后端，但结果不同，能够反映框架对上层 planner 能力的敏感性。[Paper §3.1, §3.3]

4.2 主要结果

[Paper Table 2–4, 6]

几个不能被 aggregate 掩盖的细节：

• RoboCasa365 的 Composite-Unseen 仍只有 13.8%（Codex）/15.0%（CC），说明框架改善了长程可靠性，但离解决真正未见组合还很远。[Paper Table 4]
• LIBERO-Pro 中 CC 为 82.4%，Codex 为 72.1%，相差 10.3 个百分点；RoboCasa 上则 Codex 更强。框架并不与 planner backbone 无关。[Paper Table 3–4]
• 标准 LIBERO 上 Harness 只比其直接冻结后端高 0.7 个百分点，并低于 AtomVLA 1.0 个百分点；它的主要价值是 OOD 鲁棒性而非标准榜单性能。[Paper Table 2]

4.3 Memory 到底贡献了什么

在 LIBERO-Pro Goal 的严格 zero-shot 设置中，CC 不读取目标设置的 Task Specific Memory 和对应 Global Memory：

• 位置交换 S：31.0%，few-shot 是 87.0%；
• 指令重定向 T：79.0%，few-shot 是 87.0%。

这说明强 planner 本身已能处理不少语义重绑定，但空间布局迁移高度依赖参考任务中学到的原语组织和摆位经验。不过该实验同时移除了两类 memory，因此不能区分 Task Specific Memory 与 Global Memory 各自贡献多少。[Paper Table 5; Paper §3.2]

4.4 重试与分工的机制证据

VLA 调用上限曲线。 LIBERO-Pro 中，允许最多 1 次 VLA 调用时成功率约 52%，3 次为 73%，6 次为 80%，完整系统约 82%；RoboCasa365 和 RoboTwin 也随少量调用快速上升后逐渐饱和。这支持“少量、planner 选择的局部重试”而非让 VLA 连续控制全程。[Paper Fig. 4]

最终完成动作归因。 LIBERO 四组成功任务中，72%–84% 的最终成功谓词在解析原语后触发；RoboCasa 的三组任务有 60%–86% 在 VLA 原语后触发，RoboTwin 为 66%。这与任务结构一致：桌面抓取后的搬运/释放多由解析控制完成，厨房和双臂任务的终点常是接触操作。[Paper Fig. 6]

调用统计。 解析原语占 LIBERO、RoboCasa、RoboTwin 所有 manipulation primitive 调用的 84.2%、64.7%、52.6%；vla_act 分别占 15.8%、35.3%、47.4%。这证明 VLA 确实被嵌入更大的解析 scaffold，而非换个名字继续端到端运行。[Appendix F, Table 18–19]

要注意：最终由哪类原语触发成功、或调用次数占比，只是分工的相关证据，不等价于因果消融；不同原语持续时间和计算成本也不同。

5. 论文真正证明了什么

证据较充分

1. 围绕同一冻结后端增加 agentic harness，可显著提高分布偏移任务成功率。 LIBERO-Pro、RoboCasa365、RoboTwin 都有 direct frozen-VLA 对照，尤其 LIBERO-Pro 的同 checkpoint +32.4 个百分点最有说服力。[Paper Table 3–4, 6]
2. 语义 grounding 放在 planner 层能修正 VLA 的训练轨迹惯性。 Figure 3 的案例显示：指令换目标或物体换位置后，直接 VLA 仍朝训练时对象/区域行动，而 Harness 重新识别目标并改用当前场景坐标。[Paper Fig. 3]
3. 局部、可重试的 VLA 调用比一次性长 rollout 更可靠。 调用上限曲线和失败恢复轨迹共同支持这一点。[Paper Fig. 4–5]
4. 少量固定原语可以覆盖多个 embodiment。 接口在单臂桌面、移动厨房和双臂环境中保持同一抽象，环境差异通过可用原语和参数绑定处理。[Paper Table 1; Appendix B]

证据中等或尚未证明

1. “38.6 个百分点超过最强相关 baseline”的口径不完全同质。 该数是 LIBERO-Pro 的 82.4% 减 RATS 的 43.8%，但 RATS 的 overall 只平均 6 个非 LIBERO-10 cell，Harness 的 overall 平均 8 个 cell。算术无误，却不是严格相同 cell 的 aggregate。更稳妥的结论是：相同 8-cell 协议、相同冻结 VLA 后端下，82.4% 相比 50.0% 提升 32.4 个百分点。[Paper Table 3 caption]
2. 不是纯粹“零成本地榨出冻结 VLA 潜力”。 Harness 额外使用强 LLM planner、RGB-D/world map、环境内置 solver、结构化日志、任务成功谓词和多次 VLA 调用。这是合法的系统贡献，但和直接 VLA baseline 的资源、观察和推理成本并不相同。[Paper §2; Appendix A, E]
3. 多数强结果不是严格 zero-shot。 LIBERO、LIBERO-Pro 和 RoboCasa 每个任务都先在一个参考 seed 上探索到成功，允许 reset 且预算较宽，再对 held-out seeds 评测。这不等于测试泄漏，因为报告 seed 被留出；但它属于 task-level few-shot adaptation，且预热成本没有完整量化。[Paper §2.2; Appendix C]
4. “冻结 VLA”有边界。 LIBERO 和 RoboCasa 直接使用官方 checkpoint；RoboTwin 使用作者在 RoboTwin 轨迹上 post-train 的 LingBot-VLA，之后才在 direct baseline 和 Harness 中共同冻结。因此“不微调”指 Harness 阶段不再微调，并非整项研究从未为目标 benchmark 训练 VLA。[Appendix D.3; Paper Table 6]

6. 局限、可信度与复现判断

6.1 作者明确承认的局限

• 高层 planner 与低层 VLA 之间仍是开放式、非联合优化的反馈关系；
• 没有利用环境奖励或人类偏好做联合 fine-tuning；
• 缺少细粒度图像描述，在高度拥挤、长程场景中限制结构推理；
• 固定原语缺少关键抽象时，未来可能需要结合自动 skill discovery。[Paper §5]

6.2 本次阅读发现的额外证据风险

• 缺少细粒度消融：没有完整的 无 Task Memory / 无 Global Memory / 无重试 / 无重新摆位 / 仅解析原语 / 相同调用预算 因子实验。Goal zero-shot 同时移除两类 memory，无法分别归因。
• 统计稳定性不足：虽然总 rollout 数不小，但论文没有给随机重复、置信区间或方差。LLM planner 和 VLA 都可能是随机系统，单个 task-seed 结果未必反映重复运行波动。
• 成本未报告：没有系统给出 planner token、API 成本、端到端延迟、bootstrapping reset 次数/时间、VLA 调用时长或能耗。Figure 4 只说明少量调用后性能饱和，不能替代效率报告。
• 仅模拟环境：论文实验覆盖 MuJoCo/Robosuite 等模拟 benchmark，没有真实机器人结果；物理感知噪声、标定误差、执行安全性和异步延迟仍未验证。
• Global Memory 数据边界不够具体：论文解释其内容和用法，但没有清楚列出正式评测前它由哪些任务、按何种顺序构建与冻结，因此跨任务规则的可复现实验边界仍需看代码或补充说明。
• 成功谓词是较强的反馈条件：系统可读取 benchmark 提供的稀疏成功信号来避免视觉误判；真实部署未必有同等可靠的自动验收器。[Paper §2.1; Appendix C, E]

综合判断为 证据中等偏强：对“系统级 harness 能增强冻结 VLA 的 OOD 可靠性”支持较充分；对“各记忆模块为何有效”“成本是否值得”“可否迁移到真实机器人”支持不足。

6.3 复现性

论文给出了 benchmark/seed 协议、文件式 REPL、原语 schema、prompt skeleton、三类 VLA 后端，以及 LingBot-VLA 的部分 post-training 超参数；官方项目页也链接到公开的 RLinf/RPent 仓库，其中提供 LIBERO-Pro、RoboCasa、RoboTwin 的安装与运行入口。[Appendix A–F; Official repo: README]

但严格复现论文数字仍需确认：论文所用 planner 的确切模型快照和采样设置、各 benchmark 的完整 step/wall-clock 预算、参考 seed 探索次数、Global Memory 初始内容/冻结时点，以及所有 baseline 是否按同一运行栈重跑。仅凭论文文本无法完全核实这些条件。

7. 用一个例子快速建立直觉

假设任务是“把奶盒放进篮子”，但篮子和奶盒位置与训练时交换了：

1. 直接 VLA 可能因场景很像训练样本，仍朝旧位置或旧目标执行整条动作。
2. Harness planner 先从当前 RGB-D 找到奶盒和篮子，move_to 到合适接触前姿态。
3. 调用 vla_act("抓住奶盒")，冻结 VLA 只负责最难脚本化的抓取接触。
4. 如果夹爪闭合但奶盒没有随末端移动，Global Memory 将其识别为空抓；planner 重新定位并重试。
5. 抓稳后，用 move_to 做长距离运输，最后 release。
6. 只有 benchmark 的成功谓词成立才结束，视觉上“看起来接近”不算成功。

这正是论文的本质：不要求 VLA 学会整个新任务分布，而是把新分布切成若干 VLA 已会的局部接触岛屿，再用解析控制与记忆在这些岛屿之间搭桥。 [Paper Fig. 2, 5, 7; Appendix A]

8. 对研究与实践的启发

1. VLA 的升级路径不只有扩大数据和微调模型。 如果失败主要来自错误 grounding、视角/初始姿态偏移或一次接触失败，先设计可观察、可重试的执行 harness，可能比重新训练更划算。
2. 能力接口应围绕失败边界设计。 vla_act 不只是“调用模型”，还包含 prompt、chunk 上限和 stop predicate；这些决定错误能否被及时截断和局部修复。
3. 程序性记忆比轨迹回放更适合布局迁移。 保存“先抓—再运—再放”的结构，同时强制当前场景重定位，能减少坐标过拟合。
4. 评测 agentic robotics 时必须把适配预算列入方法定义。 参考 seed、reset、LLM 推理、world map、solver 和成功 oracle 都是系统能力的一部分，不能只报告最终 success rate。
5. 最值得继续研究的实验：分别消融两类 memory；固定 LLM/VLA 调用预算；比较“重试但不重新摆位”和“重新摆位但不读失败记忆”；报告重复运行置信区间、延迟和真实机器人结果。

9. 快速精读路线

如果只再花 20–30 分钟，建议按以下顺序看原文：

1. Figure 2 + §2.2–2.3：理解职责拆分、两阶段记忆和原语接口；
2. Table 3–6：先看同一冻结后端的直接对照，不要只看摘要 headline；
3. Figure 4–7：理解重试、解析/VLA 分工及案例；
4. Appendix A、C、E：核对 REPL、seed 协议、prompt 和 memory 的真实使用方式；
5. Appendix F：看原语调用统计，判断系统是否真的按宣称分工。

10. 已解决与未解决的问题

已解决

• 论文要解决什么？ 冻结 VLA 在语义重定向、空间变化和长程接触任务中的部署可靠性。
• 核心动作是什么？ 把 VLA 变为局部、可停止、可重试的接触原语，planner 接管语义与非接触部分。
• 记忆做什么？ Task Memory 保存任务结构，Global Memory 保存跨任务规则和失败模型。
• 最强证据是什么？ LIBERO-Pro 使用同一冻结 checkpoint 时从 50.0% 提高到 82.4%。

部分解决

• Memory 是否必要？ 对位置交换非常重要，但两类 memory 的独立贡献未分离。
• 固定词表是否足够？ 在三类模拟 benchmark 中可用，但环境仍需要不同原语可用性、solver 和 arm binding。
• 是否高效？ 调用次数曲线显示少量 VLA 调用即可取得大部分收益，但整体时间与算力成本未报告。

未解决

• 对真实机器人、感知噪声和安全约束是否成立；
• bootstrapping 的平均尝试次数、人工/计算成本和失败率；
• planner/VLA 随机性的置信区间；
• Global Memory 的严格构建与冻结协议；
• 在没有 benchmark success oracle、没有精确 RGB-D/world map 时还能保留多少收益。

最终判断：这篇论文最有价值的思想，是把“模型是否强”改写成“系统是否把模型放在它真正擅长的位置，并让失败可被观察和恢复”。结果足以支持这一系统方向值得投入；但若要把 82.4% 等数字当成可泛化的 VLA 能力提升，需要同时计入 task-level bootstrapping、额外工具、planner 能力和不完全一致的 baseline 口径。