AI Papers, June 28

今天没有真正“突破式”的单篇论文，但有几篇很贴近 Fred 关心的方向：agent memory 正在从 RAG 组件变成可评估的数据管理系统；coding/tool-use agent 的奖励、验证和训练稳定性问题被更明确地拆开；world model 和 reasoning model 的可靠性也出现了一些可操作的诊断信号。

必读

Are We Ready For An Agent-Native Memory System?

工作简介： 这篇论文把 LLM agent memory 从“端到端任务成功率”中拆出来，按 memory representation/storage、extraction、retrieval/routing、maintenance 四个模块建立评估框架，并在 5 类 workload、11 个数据集上比较 12 个代表性 memory system 与两个 baseline。作者还做了细粒度 ablation，分别测 representation fidelity、retrieval precision、update correctness 和 long-horizon stability，并分析真实 workload 下的成本—性能权衡。代码见 OpenDataBox/MemoryData。

简评： 这是今天最值得 Fred 看的一篇：它不再把 memory 当作黑盒 prompt trick，而是按数据管理系统来做可诊断评估，和长期 agent、知识更新、记忆维护成本高度相关。局限是它更像系统性实验研究而非新算法，但这类分解指标很可能比单一 benchmark 分数更有后续价值。

The Verification Horizon: No Silver Bullet for Coding Agent Rewards

工作简介： Qwen 团队讨论 coding agent 中“生成变容易、可靠验证变困难”的反转，提出用 scalability、faithfulness、robustness 三个维度刻画验证信号质量。论文比较了通用 coding test verifier、frontend rubric verifier、真实用户 verifier、长程任务 automated agent verifier 等奖励构造，并分析不同任务和 policy 能力水平下的 reward hacking、信号饱和与代理目标偏移。

简评： 这篇的价值在于把 agent RL 的瓶颈从“如何给奖励”推进到“验证器会随 policy 能力增长而失效”的动态问题，和 Fred 关注的 stopping criteria、reliability、trajectory-level evaluation 很契合。它的论证带有工程经验总结色彩，未必给出统一理论解，但“verification must co-evolve with the generator”是很重要的判断。

值得关注

OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

工作简介： OPID 从已完成的 on-policy trajectory 中抽取 hindsight skill，把 episode-level workflow/failure-avoidance rule 与 step-level critical decision knowledge 组织成层次化监督。训练时，它将选中的 skill 注入历史上下文，让旧 policy 在原始与 skill-augmented context 下重算同一 response 的 log-prob shift，作为 token-level self-distillation advantage，并与 outcome advantage 一起优化；实验覆盖 ALFWorld、WebShop 和 search QA。代码见 jinyangwu/OPID。

简评： 这篇很适合关注 trajectory reuse 的读者：它试图把稀疏 outcome reward 转成分布匹配的 dense hindsight supervision，而不是维护外部 skill memory。新意主要在 skill 抽取和 routing 的训练信号设计，是否能在更开放、更噪声的真实 agent 环境中稳定工作，还需要进一步验证。

Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

工作简介： 论文研究多步 tool-use RL 为什么会崩溃，观察到某些模型在训练中会突然性能下降、工具调用结构失效；进一步分析认为问题来自特定 control token 的异常概率尖峰，而底层工具能力并未真正消失。作者比较 off-policy supervision、hint guidance、错误样例监督等多种 supervisory signal，并发现 SFT 与 RL 交错训练能改善稳定性，但在格式和内容 OOD 下仍会退化。代码见 Tool-RL-Box。

简评： 这篇的诊断比“RL 不稳定”更具体：把 collapse 关联到结构化执行 token 的概率病灶，对工具 agent 训练很有实用意义。它也提醒我们，监督信号能修格式稳定性，但不等于解决泛化；这正是 agent harness 与 policy 联合训练中容易被平均分掩盖的问题。

Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

工作简介： 作者从一般随机 MDP 推导出 progress advantage：RL 后 policy 与 reference policy 的 log-probability ratio 可以恢复一种隐式 advantage signal。这个信号不需要额外训练 process reward model，被用于 test-time scaling、uncertainty quantification 和 failure attribution，并在 5 个 benchmark、4 个模型家族上与 confidence baseline 和专门训练的 reward model 比较。

简评： 它的吸引力在于把 post-training 过程中已经存在的 policy/reference 差异转化为 step-level 评分，对长程 agent 的失败定位和停止策略可能有用。需要谨慎的是，理论结论依赖较理想化的最优 advantage 关系，真实 RLHF/RLVR 流程中的偏差、KL 约束和数据覆盖问题可能会削弱这个信号的可解释性。

Hallucination in World Models is Predictable and Preventable

工作简介： 论文发布 MMBench2，一个包含 427 小时、210 个任务、带真实 action/reward/live simulator 的视觉世界模型数据集，并训练 350M world model 来研究 hallucination。作者区分 perceptual、action-marginalized、scene-diverging 三类幻觉模式，提出可预测失败区域的数据覆盖信号，并用 coverage-aware sampling 与 curiosity-style 在线数据采集来缓解未见环境中的 roll-out drift。交互版见 MMBench2。

简评： 这篇把 world model hallucination 明确归因到 state-action coverage，而不是泛泛说“生成模型会漂移”，因此对可靠规划和机器人 world model 很有启发。它不是 LLM agent 论文，但与 Fred 关心的 trajectory-level reliability 很接近，尤其是用同一组信号同时做预测和缓解这一点。

Do Thinking Tokens Help with Safety?

工作简介： 论文检验“reasoning model 的 thinking tokens 会带来更安全的 deliberation”这一常见直觉。作者在 GPT-OSS、Qwen、Olmo、Phi 等开源 reasoning model 上发现，拒答/服从结果在第一个 token 的 hidden representation 中就已高度可预测；后续 thinking 更像 prefix completion，最终安全决策很少在可见思考过程中被真正改变。

简评： 这篇对 reasoning-as-deliberation 的叙事是一个有力提醒：文本层面的“我在权衡”不等于内部策略真的在重新评估安全边界。它和停止准则、可解释性、隐藏状态探针都有联系；不过结论主要针对当前开源 reasoning model，不能直接外推到所有未来训练范式。

Forecasting Future Behavior as a Learning Task

工作简介： 作者提出不直接解释 reasoning trajectory，而是训练 Behavior Forecaster：给定一次 reasoning trajectory，预测目标 LRM 在重跑时是否会重复答案，以及移除输入部分会如何改变答案。训练数据通过查询目标 LRM 自动生成，无需人工标注；在三个 reasoning 数据集上，专门训练的 forecaster 比 GPT-5.4 和 Claude Opus-4.6 作为 naive reader 更准确且更便宜。

简评： 这篇很适合 Fred 的“轨迹级分析”兴趣：它承认自然语言 reasoning trace 未必 faithful，但仍然把 trace 当作可学习的行为预测信号。真正有意思的是从 explanation 转向 forecasting，这可能比要求模型“解释自己”更接近可工程化的可靠性工具。

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

工作简介： 论文提出 GauntletBench，一个 web-based agent generalisation benchmark，覆盖 Video Editor、Workflow Builder、3D Modeller、Flight Analyser、Circuit Designer 五类较少被现有 benchmark 覆盖的专业应用，共 100 个视觉密集任务。结果显示最强前沿 agent 只有 19.1% success rate，而非专家人类超过 80%，暴露 temporal perception、graphical understanding 和 3D reasoning 的短板。

简评： 这不是方法论文，而是一个“把 agent 拉出熟悉网页/办公场景”的压力测试，价值在于揭示当前 benchmark 饱和后的真实缺口。若 Fred 关心 agent 评测设计，它可以作为反例库：很多能力并不会从通用 web/search agent 自动迁移到专业 GUI 与空间任务。

开源发布

• JetSpec：面向 speculative decoding 的 parallel tree drafting 方法，代码和模型发布在 hao-ai-lab/JetSpec，并展示了 vLLM 集成；主题偏推理加速，不是今天主线，但工程上值得留意。
• MemoryData：配套于 agent-native memory 评估论文，若后续要比较 agent memory 架构，这个 repo 可能比单篇方法更有复用价值。

今日取舍

今天候选里有不少视觉生成、视频生成和部署效率工作，但和 Fred 长期关注的 agent/reasoning/reliability 主线关系较弱，因此没有展开。整体看，今天最重要的共同信号不是某个 SOTA 数字，而是：agent 系统越来越需要模块级诊断、验证器演化、轨迹级信用分配和显式可靠性信号。