记得更少，但记住真正影响未来的东西

关于这篇笔记

这是一份持续维护的研究推演，不是论文成稿。下文会区分“当前假设”和“待验证问题”，目前还没有实验结论。

问题从哪里来

最初的直觉很简单：短期看得细，长期记得远。用一个小 Transformer 处理局部短序列，对局部 Token 做筛选，只把有效 Token 放进 Mamba/SSM，让它建模很长时间尺度上的状态变化：

$$X_{t:t+L}\stackrel{\mathrm{Transformer}}{\to }{Z}_t\stackrel{\mathrm{Selector}}{\to }{Z}_t^{\ast }\stackrel{\mathrm{Mamba}}{\to }{h}_t$$

但很快发现一个问题：如果小 Transformer 自己承担“重要性筛选器”的角色，它很容易学到训练环境里的固定统计规律，而不是开放环境中真实的信息价值。于是问题收敛成了另一个形状：

在冻结的视频基础表征之上，能否只保留对未来预测和动作决策真正有价值的少量 Token，并通过 Mamba/SSM 维护一个可用于长期预测与动作条件想象的世界状态？

换句话说，我们关心的不是“如何记住更多历史”，而是：如何记得更少，但记住真正影响未来的东西。

$$\mathrm{Frozen}\mathrm{Encoder}\to \mathrm{Predictive}\mathrm{Token}\mathrm{Selection}\to \mathrm{Selective}\mathrm{Memory}\mathrm{Write}\to \mathrm{Mamba}\mathrm{State}\to \mathrm{Action}\text{-}\mathrm{conditioned}\mathrm{Dynamics}$$

Token 的重要性不是静态的

如果把重要性写成 $s_i=f(z_i)$，那它就是一个与任务、历史都无关的静态函数。可在具身任务里，同一个 Token 在不同任务阶段的价值完全不同。更合理的定义是：

$$s_{t,i}=f(z_{t,i},P_t,g,h_{t-1})$$

其中 $z_{t,i}$ 是当前视觉 Token，$P_t$ 是世界知识先验，$g$ 是任务目标，$h_{t-1}$ 是长期历史状态。Selector 真正要回答的是：

基于当前任务和已经知道的历史，这个信息现在还有没有必要被长期记住？

陌生信息不能因为“不熟悉”就被删掉

如果 Selector 完全依赖训练分布，OOD 环境里真正关键的新物体、新状态反而可能被过滤。所以分数里不只要有任务相关性，还要考虑变化、新颖度、不确定性和与记忆的互补性：

$$s_{t,i}=\alpha s_{t,i}^{task}+\beta s_{t,i}^{change}+\gamma s_{t,i}^{novelty}+\delta s_{t,i}^{uncertainty}+\eta s_{t,i}^{memory}$$

其中新颖度用来保护“没见过但可能重要”的信息：

$$s_{t,i}^{novelty}=1-\underset{m_j\in {\mathcal{M}}_{t-1}}{max}\mathrm{sim}(z_{t,i},m_j)$$

先用好已有的视频表征

LeVJEPA 给我的启发不是照搬它的完整框架，而是：先用已经具备较强时空表征能力的 Encoder，再在语义 Token 层做筛选。 这样 Selector 面对的不再是低级 RGB Patch，而是已经带有时空语义的 Token。

值得借鉴的三点：

1. Per-frame Tokenization：保留每个 Token 的时间与空间归属，不过早做跨帧聚合；
2. Block-Causal Attention：当前 Token 能看当前帧与历史帧，不能看未来帧，更符合在线机器人决策；
3. Sparse-observation robustness：训练时大比例 Token 缺失，让 Encoder 对部分观测保持鲁棒。

Encoder 只负责回答 What is happening now?，而不承担长期记忆。

用“对未来的贡献”定义价值

真正值得深入的创新点不是 Attention Top-K，而是：一个 Token 的价值，应由它对未来世界预测和后续动作的贡献来定义。

$$V_{t,i}^{pred}={\mathcal{L}}_{future}^{(-i)}-{\mathcal{L}}_{future}$$

去掉第 $i$ 个 Token 后，未来预测损失上升得越多（$V_{t,i}^{pred}\gg 0$），它就越值得被记住。研究对象因此从 Important Token Selection 转向 Predictive Token Selection——一种近似的 Value of Information：保留这条信息，能否显著改善未来状态预测、动作生成或长期任务成功率？

hₜ10 / 50 tokens

keep ratio 20%保留了约 51% 的“预测价值”

交互演示 · 只把预测价值最高的 Token 写入长期状态（score 为示意数据）

记“变化”，而不是记“画面”

连续 100 帧里都有同一把锤子，没必要把“锤子存在”写入 100 次。真正值得长期保存的是：手接近工具、抓取建立、工具被抬起、工具与目标接触、目标状态改变、遮挡发生、关键物体重新出现。

于是把 Token 表征进一步转化为“变化 Token”：

$$\mathrm{\Delta }{z}_{t,i}=E_{\mathrm{\Delta }}(z_{t,i},z_{t-1,j^{\ast }}),j^{\ast }=\arg \underset{j}{max}\mathrm{sim}(z_{t,i},z_{t-1,j})$$

长期模型接收的不再是完整视觉快照 $Z_1,\dots ,Z_T$，而是稀疏的世界变化 $\mathrm{\Delta }{Z}_1^{\ast },\dots ,\mathrm{\Delta }{Z}_T^{\ast }$。这更接近 Event-level World State Modeling，而不是普通的视频压缩。

Mamba 是一台长期状态机

Mamba 不再被理解成“替代 Transformer 的长序列模块”，而是维护选择性长期世界状态的状态机：

$$h_t=F_{\mathrm{Mamba}}(h_{t-1},\mathrm{\Delta }{Z}_t^{\ast })$$

$h_t$ 主要编码关键对象的长期状态、物体是否已被操作、工具与目标的关系、过去动作的结果、被遮挡但仍应存在的世界状态，以及当前任务阶段。它还会反过来参与下一时刻的选择，形成闭环：

$$\boxed{{\displaystyle \mathrm{Memory}\to \mathrm{Selection}\to \mathrm{Memory}\mathrm{Update}}}$$

光有记忆还不够

仅有长期记忆，还不能严格称为世界模型。关键在于回答：如果现在执行动作 $a_t$，世界接下来会发生什么？

$$(h_t,a_t)\to {\hat{h}}_{t+1}$$

加上 action-conditioned dynamics 之后，它才从“长期记忆模块”升级成 Selective Latent World Model。

不可微的选择与长程信用分配

当前最大的理论难点之一：硬选择 $m_{t,i}=\mathbf{1}(s_{t,i}>\tau )$ 几乎处处梯度为 0。第一版更适合用 Soft Gate：

# s: token 分数, tau: 阈值, T: 温度
p = torch.sigmoid((s - tau) / T)
z_tilde = p.unsqueeze(-1) * z        # 软选择，保留梯度
h_t = mamba(h_prev, z_tilde)          # 写入长期状态
# 待消融：温度退火 / Straight-Through / Gumbel-Softmax / Hard Top-K

此时 ${\displaystyle \frac{\partial {\tilde{z}}_{t,i}}{\partial s_{t,i}}}=z_{t,i}{\displaystyle \frac{1}{T}}{p}_{t,i}(1-p_{t,i})$，会带来温度、饱和与梯度消失问题。

更深一层：当前是否保留某个 Token，会影响很久以后的状态（$s_t\to Z_t^{\ast }\to h_t\to s_{t+1}$），所以这不只是分类问题，而是 Long-term Credit Assignment——未来的 loss 需要回头告诉早期的 Selector：“你当时删掉它，是对是错？”

受限算力下的训练路线

不具备从头训练大规模世界模型的算力，所以分阶段解锁：

阶段	内容	要回答的问题
Stage 0	冻结基础 Encoder，离线缓存 Token	—
Stage 1	只训练 Selector + Dynamics	少量 Token 是否足以预测未来？
Stage 2	加入 Mamba 长期状态，测 $k=1,4,8,16,32$	长期状态能否支撑多步预测？
Stage 3	Memory-conditioned Selection	历史能否改善当前写入？
Stage 4	加入 World Prior	OOD 泛化是否提升？

三个待验证的假设

编号	假设
H1	Token 的价值由它对未来 action-conditioned 预测的贡献决定，而非静态显著性或 Attention Score。
H2	长期记忆的基本单位应是 Patch / Object / Event 级的世界变化，而不是完整帧。
H3	在长时序、遮挡、OOD、任务阶段切换场景中，稀疏的长期状态可能优于保存全部历史。

Benchmark 的目标不是和大模型拼参数，而是比较 Performance vs Token Budget / Compute / History Length。最理想的现象是：

$${\mathrm{Performance}}_{20\mathrm{\%}}\approx {\mathrm{Performance}}_{100\mathrm{\%}}$$

如果在 OOD / long-horizon 场景里甚至 ${\mathrm{Performance}}_{20\mathrm{\%}}>{\mathrm{Performance}}_{100\mathrm{\%}}$，那将支持一个重要结论：长期世界建模的瓶颈，未必是信息不足，而可能是历史冗余。

创新风险

如果最终只是“LeVJEPA + Token Selector + Mamba”，创新风险已经比较高。需要逐篇拆清楚 EventVLA、Chronos、AEM、NativeMEM、MemoryVLA++、MaP-WAM、V-JEPA 2-AC 等近邻工作的差异。真正需要证明的是：

未来 dynamics prediction 能否反向定义当前 Token 的信息价值，并据此形成更高效、更鲁棒的长期世界状态。

一句话定义： 一种建立在冻结视频基础表征之上的选择性潜空间世界模型——通过未来预测价值决定哪些局部世界变化值得写入 Mamba/SSM 长期状态，并利用 action-conditioned dynamics 想象未来，最终服务于长期具身决策。