一张 5090 能做什么：Temporal World Prior × Goal Critic 研究方案

资源约束版

实验资源：1 × RTX 5090（32 GB，共享），加上极少的云算力预算。核心原则：先证伪最关键的科学假设，再逐步解锁 Token Selection、长期记忆与 World-Model Foresight；不把 π0.5 全量训练当作前提。

π0.5 不是研究核心

统一把基础 VLA 写成：

$$a_t^0\sim {\pi }_{\mathrm{base}}(a\mid o_t,l,s_t)$$

实验里可以令 ${\pi }_{\mathrm{base}}={\pi }_{0.5}$，但方法本身应保持 backbone-agnostic。π0.5 的作用是提供强动作先验、可离线缓存的 Teacher 信号，以及一个可复现的实验宿主。这个项目要验证的是：

$$\boxed{{\displaystyle \text{Temporal World Prior}\to \text{Goal-Relevant State}\to \text{Goal Value}\to \text{Policy Improvement}}}$$

两级状态：世界是什么 vs 任务关心什么

与任务无关的世界状态——回答“世界正在发生什么”：

$$Z_t^{world}=E_{\mathrm{JEPA}}(O_{t-K:t})$$

与目标相关的状态——回答“对当前任务，哪些状态会影响成功”：

$$Z_t^{goal}=G_{\psi }(Z_t^{world},e_l,s_t),e_l=E_L(l)$$

语言 / VLM 提供语义目标与常识，LeVJEPA 提供时序与物理动力学先验：$P^{world}=P^{semantic}+P^{dynamic}$。

Base VLA + Goal Critic + Residual Policy

Goal Critic 估计“这个动作最终能不能完成任务”：

$$Q_{\varphi }^g(h_t,a_t)\approx \mathbb{E}\left[\sum _{k\ge 0}{\gamma }^k{r}_{t+k}\right|h_t,a_t,g]\approx P(\mathrm{Success}\mid h_t,a_t,g)$$

核心不是 action residual regression，而是 value / success regression。残差策略：

$$\mathrm{\Delta }{a}_t={\pi }_{res}(h_t,a_t^0,g),a_t=a_t^0+{\alpha }_t\mathrm{\Delta }{a}_t$$

真正要求的是修正后的价值更高 $A_{corr}=Q^g(h_t,a_t^0+{\alpha }_t\mathrm{\Delta }{a}_t)-Q^g(h_t,a_t^0)>0$，而不是 $\mathrm{\Delta }{a}_t\approx a_t^{GT}-a_t^0$。所以修正可以和示范不同，只要它提高最终成功概率。

最具辨识度的候选：Goal-Value-of-Information

LeVJEPA 已经说明大量观测可以丢弃，那么“任务信息价值”该怎么定义？对第 $i$ 个 token：

$$V_{t,i}^{info}=Q_g(Z_t,a_t)-Q_g(Z_t^{-i},a_t)$$

$V^{info}\approx 0$：该 token 对任务成功判断几乎没贡献，可不写入长期状态；$V^{info}\gg 0$：删掉它会显著改变 Critic 的判断，应优先保留。问题因此升级为：What information is worth remembering for future goal achievement?

关键工程决策：把 Base VLA 从训练图里拿掉

OpenPI 公开的单卡显存需求约为：推理 >8 GB，LoRA 微调 >22.5 GB，全量微调 >70 GB。所以 π0.5 全量微调不作为前提。做法是先离线跑一遍 Frozen VLA Teacher，缓存：

$$D^{+}=\{O_{t-K:t},l,s_t,a_t^{base},z_t^{teacher},a_t^{demo},r_t,don{e}_t,success\}$$

之后正式训练时，${\pi }_{base}$ 完全不在 GPU 计算图中。5090 只承担冻结/部分解冻的 LeVJEPA、小型融合层、Goal Critic 和 Residual Actor。Teacher Cache 也不保存完整 hidden states，只存 pooled 表征、8/16/32 个 query-pooled token、base action chunk 和元数据，FP16/BF16 存储。

步骤	输入	模块	输出
1	视频历史 $O_{t-K:t}$	冻结 LeVJEPA	$Z_t^{world}$
2	$Z_t^{world}$ + 语言目标 + 机器人状态	Goal Fusion	$h_t$
3	$h_t$	缓存的 π0.5 先验（离线）	$a_t^0$
4	$h_t$, $a_t^0$	Goal Critic	$Q^g$
5	$h_t$, $a_t^0$	Residual Actor	$\mathrm{\Delta }{a}_t$
6	$Q^g$, $\mathrm{\Delta }{a}_t$	价值门控	$a_t=a_t^0+{\alpha }_t\mathrm{\Delta }{a}_t$

数据：小数据先证伪

• D0 · 调通流水线：LIBERO + DROID-100 或少量自选轨迹；
• D1 · 核心实验：LIBERO 四个 suite + RoboTwin 2.0 的少量高信息密度任务；
• D2 · 表征扩展：确有必要时再远程流式处理 DROID（全量 RLDS 约 1.7 TB，不适合本地常驻），构建几十 GB 到 100 GB 的 DROID-mini。

第一阶段 MVP：只验证最关键的因果链

不要先做“大一统世界模型”。第一阶段只回答：时序 JEPA 状态是否让 Goal Critic 更准？更准的 Critic 是否真的能让冻结的 VLA 更容易被纠偏？

模型	内容
M0	单帧 Critic $Q_{img}(I_t,l,s_t,a)$
M1	冻结 LeVJEPA 时序 Critic $Q_{temp}(O_{t-K:t},l,s_t,a)$，核心比较 $\mathrm{Err}(Q_{temp})<\mathrm{Err}(Q_{img})$
M2	M1 成立后加入 Goal Critic + Residual Actor
M3	LeVJEPA 轻量适配：冻结 → 末 2 层微调 → 末 4 层 / LoRA，不默认全量微调

重点场景：滑移、接触转换、部分遮挡、延迟后果、失败的接近、物体状态改变、执行扰动。

训练目标

Goal Critic（Huber TD）：

$$y_t=r_t+\gamma (1-d_t)V_{\overline{\varphi }}(h_{t+1}),{\mathcal{L}}_Q=\mathrm{Huber}(Q_{\varphi }(h_t,a_t),y_t)$$

资源有限时可以先做成功分类器：${\mathcal{L}}_{succ}=\mathrm{BCE}(p_{\varphi }(\mathrm{success}\mid h_t,a_t,g),y_{succ})$。

Residual Actor（最大化目标价值 + 最小干预）：

$${\mathcal{L}}_{res}=-Q_{\varphi }(h_t,a_t^0+{\alpha }_t\mathrm{\Delta }{a}_t)+{\lambda }_a\parallel {\alpha }_t\mathrm{\Delta }{a}_t{\parallel }^2+{\lambda }_{\alpha }{\alpha }_t$$

四个 Go / No-Go 决策点

1. 时序 Critic 成立吗？ 若 $Q_{temp}$ 在扰动、接触、遮挡场景都没有稳定优于 $Q_{img}$，暂停 Residual / Memory 扩展，重新检查时序表征与控制的相关性。
2. Critic 的提升能转化为策略提升吗？ 若 Critic 更准但 ${\mathrm{Success}}_{res}\approx {\mathrm{Success}}_{base}$，问题在修正接口或策略优化，而不在 Encoder。
3. Goal-Value 选择能超过随机丢弃吗？ 若 $\mathrm{GoalValueTopK}\le \mathrm{RandomTopK}$，就不能声称“选对 Token”有效。
4. Memory / Foresight 对长时序有额外价值吗？ 只在短时系统成立后再验证。

暂时不做的事

π0.5 全量微调；π0.5 LoRA + 全量 LeVJEPA 同卡训练；本地下载完整 DROID；从零训练大 LeVJEPA；大规模在线 RL；第一版就加 Mamba + 多步世界模型；多 backbone 全矩阵。云 GPU 只用于最终论文表格，不用于日常调试。

先证明“鲁棒世界表征 ≠ 精确控制表征”这个 mismatch 真实、可重复；再证明弱耦合的精度修正能补上缺口。不要一开始就把 Encoder、Critic、Residual、Token Selector、Memory 全部端到端耦合。