AI Papers, June 29

今天没有特别像“范式转移”的单篇论文;更值得注意的是几条 Fred 关心的主线继续变实:agent/RL 训练开始从稀疏 outcome reward 转向轨迹内证据与技能信号,world model 研究更重视可预测的失效区域,computer-use agent 的评测也在从单一成功率走向执行瓶颈诊断。

必读

V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning

工作简介: 这篇把 On-Policy Distillation 重新解释为一种 negative-free stop-gradient alignment,并指出它缺少 trajectory-level discrimination,因此在细粒度视觉推理中容易遇到上限。V-Zero 不使用人工答案标签,而是用与问题相关的局部 crop 和负视觉视图来对学生自己采样的推理轨迹做 evidence gating,再进行 dense token-level distillation;实验覆盖多个视觉推理 benchmark,并报告比 SFT/RL 路线更快。

简评: 这篇的价值不只是一个视觉推理方法,而是把“无答案标签、on-policy、自举式训练”里的关键缺口说清楚:仅靠 token-level 对齐不够,需要某种轨迹级证据选择。它和最近一批 OPD / agentic RL 论文构成同一条线,对 Fred 关注的 trajectory-level analysis、低成本后训练和可靠推理很相关;但目前证据门控主要依赖视觉正负视图构造,能否迁移到文本/工具 agent 还要看后续。

In-Context World Modeling for Robotic Control

工作简介: 论文提出 ICWM,把机器人控制中的系统辨识看成 in-context adaptation:模型先观察一小段自生成、任务无关的交互历史,用上下文推断当前相机视角、机器人形态或动力学配置,再执行具体任务。作者在仿真和真实机器人平台上测试,重点展示它在新相机视角下比标准 VLA baseline 更能泛化,且不需要参数更新。

简评: 这是一篇概念上比较干净的 world model / agent adaptation 工作:context 不再只是“告诉模型做什么”的 demonstration,而是“告诉模型这个世界怎么运作”的系统识别信号。它对长期 agent 很有启发,因为很多失败并非规划弱,而是执行环境变量没有被显式建模;局限是摘要里主要强调 camera viewpoint,距离复杂多变量、长时程真实部署仍有距离。

值得关注

Confidence-Aware Tool Orchestration for Robust Video Understanding

工作简介: Robust-TO 针对视频推理模型对所有帧“盲目信任”的问题,为不同视觉工具统一 evidence interface,并为每个工具输出引入 temporal grounding 和 calibrated reliability score。系统用 reliability-relevance 选择可信帧,再用三档证据合成和 confidence-cost GRPO reward 同时优化正确性、证据可靠性和效率;在含模糊、眩光、遮挡等扰动的视频 benchmark 上报告更小的 clean-to-corrupted drop。

简评: 这篇很符合“可靠 agent 不是只会多调用工具,而是要知道证据质量”的方向。新意更多在系统整合和 reward 设计,而不一定是基础算法突破;但它把 uncertainty / confidence 直接放进 tool orchestration,对多模态 agent 的停止、降级和证据加权机制有参考价值。

Fast LeWorldModel

工作简介: Fast-LeWM 针对 LeWorldModel 这类 JEPA latent world model 在 planning 时需要逐步 autoregressive rollout 的高成本和误差累积问题,改为 action-prefix prediction。给定当前 latent 和候选动作序列,模型并行编码动作前缀并预测不同 horizon 的未来 latent,从而在 planning 时无需显式滚过每个中间 imagined state。

简评: 这是一个实用但不花哨的 world model 改造:把 rollout 的时间递归换成前缀级并行预测,直接触及长 horizon planning 的成本与 drift。它的理论野心不大,但如果结果稳健,会对用 latent world model 做搜索/控制的系统很有用,尤其是 Fred 关心的“什么时候继续 rollout、什么时候停止”的可靠性问题。

When Lower Privileges Suffice: Investigating Over-Privileged Tool Selection in LLM Agents

工作简介: 论文研究 LLM agent 在工具权限不同的情况下是否会选择“够用但权限更低”的工具,提出 ToolPrivBench 测 initial selection 和 transient failure 后的 escalation。作者发现主流 agent 普遍存在 over-privileged tool selection,而且临时失败会放大不必要的权限升级;随后提出 privilege-aware post-training 来降低高权限工具滥用,同时保持能力。

简评: 这是很实际的 agent 安全评测:比泛泛的“工具调用安全”更具体,直接对应 least privilege 原则。它的贡献偏 benchmark 和训练修正,不是数学上很深;但对真实个人助理、MCP 工具生态和自动化运维 agent,权限选择是会决定事故半径的问题,值得跟踪。

GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents

工作简介: 这篇构建了 440 个桌面任务的 matched execution-layer benchmark,让 screen-only GUI agent 和 skill-mediated CLI agent 在相同目标、初始状态和最终验证器下,只通过各自原生操作完成任务。结果显示最强 GUI agent full pass rate 为 59.1%,原始 skill CLI agent 为 48.2%,但加入 verifier-guided skill augmentation 后 CLI 可到 69.3%。

简评: 这篇有助于把 computer-use agent 的失败拆开:GUI 的瓶颈是长程视觉 grounding 与交互稳定性,CLI 的瓶颈往往是 skill coverage 和接口可扩展性。对 Fred 关注的 agent harness、技能库和执行层设计很相关;不过它更像诊断基准而非新方法,真正价值取决于任务与 verifier 是否足够贴近真实软件工作流。

RL-Index: Reinforcement Learning for Retrieval Index Reasoning

工作简介: RL-Index 把复杂检索中的 reasoning 从 query time 前移到 indexing stage:为文档生成显式 rationale,编码潜在的 query–knowledge 关系,并用 GRPO 以 retrieval similarity 作为可验证 reward 来优化这些 rationale。作者在 BRIGHT benchmark 上报告检索和下游 QA 都有提升,同时降低在线推理延迟,并声称可跨 retriever/generator 泛化。

简评: 这篇不是传统 RAG 的 query rewriting,而是“让索引本身带推理痕迹”,思路接近把知识库变成可训练的 agentic memory。新意有,但也要警惕 rationale 可能引入偏置或过拟合 benchmark;如果后续能给出更强的 provenance 与更新机制,它会和知识图谱、GraphRAG、agent memory 方向自然接上。

开源发布

今日略过

部分高分候选(例如 agent-native memory、OPID、verification horizon、world model hallucination 等)已经在 6 月 28 日发过,今天按去重规则跳过。图像/视频生成类工作如 DomainShuttle、ViQ、DanceOPD 有工程价值,但与 Fred 当前优先方向相比相关性较弱,未放入主列表。