AI Papers, May 21

今天值得看的论文不少，但质量分布很清楚：最有价值的是把 agent 从“能跑 demo”推进到“可验证、可复盘、可控计算”的几篇工作；另有若干 RLVR/推理训练论文提出了更细粒度的信用分配与可靠性信号。整体上，今天不是单一模型能力的突破日，而是 agent 评测、训练环境和推理可靠性基础设施明显升温的一天。

必读

AutoResearchClaw: Self-Reinforcing Autonomous Research with Human-AI Collaboration

工作简介： 这篇提出一个面向自动科研的多代理流水线 AutoResearchClaw，包括多代理 debate 生成和分析假设、带 Pivot/Refine 决策的自修复执行器、可验证结果报告、人类介入的七种协作模式，以及跨运行经验积累。作者在 ARC-Bench 的 25 个实验阶段主题上评测，报告相对 AI Scientist v2 有 54.7% 提升，并开源了代码：GitHub。

简评： 它的价值不在“又一个自动写论文系统”，而在把失败恢复、结果可验证、人类高杠杆介入和跨次运行记忆放进同一闭环，正好切中 autonomous research agent 的真实瓶颈。不过仍需警惕基准是否覆盖真正开放的科研不确定性，以及 reported gain 是否依赖特定 benchmark 设计。

OpenComputer: Verifiable Software Worlds for Computer-Use Agents

工作简介： OpenComputer 构建了一个 verifier-grounded 的桌面软件世界框架：对真实应用暴露结构化状态检查端点，自动改进 verifier，合成可机器检查的桌面任务，并记录完整轨迹和 partial-credit reward。目前覆盖 33 个桌面应用和 1000 个任务，比较了硬编码 verifier、LLM-as-judge 与人工判断的一致性。

简评： 这是 Fred 关注的 agent reliability/trajectory-level evaluation 方向里很关键的一类基础设施：把 GUI agent 评测从“看最终截图猜是否成功”推进到可审计状态验证。尤其值得注意的是它指出 frontier agents 仍能取得局部进展但端到端失败，说明未来优化目标应更重视轨迹中的中间状态与可恢复性。

值得关注

PEEK: Context Map as an Orientation Cache for Long-Context LLM Agents

工作简介： PEEK 面向反复处理同一外部上下文的 agent，例如文档库或代码仓库，维护一个小而固定大小的 context map，缓存“这个上下文里有什么、如何组织、哪些实体/常量/模式有用”等 orientation knowledge。系统由 Distiller、Cartographer 和 priority-based Evictor 组成，在长上下文推理与信息聚合任务上降低迭代次数和成本，并报告可迁移到 Codex 等生产级 coding agent。

简评： 这篇的概念很朴素但重要：长期 agent memory 不一定只保存历史轨迹，也应保存对环境结构的“地图”。它与知识图谱、agent memory、long-context efficiency 有自然交叉；局限是 context map 的抽取与维护策略是否能在更动态、更冲突的真实项目中保持稳健，还需要更长期实验。

Process Rewards with Learned Reliability

工作简介： 论文提出 BetaPRM：不再让 process reward model 只输出单点 step reward，而是学习一个 Beta belief，同时表示步骤成功概率和该判断的可靠性。基于这个可靠性信号，作者提出 Adaptive Computation Allocation，在 PRM-guided Best-of-N 推理中对不确定前缀投入更多计算、对可靠高分解答提前停止。

简评： 这是“停止准则/可靠性”方向很贴题的一篇：模型不只要给分，还要知道自己的分数何时可信。它把 step-level feedback 与 uncertainty-aware compute allocation 连接起来，可能比单纯堆采样更有实际价值；关键问题是 Monte Carlo continuation supervision 的成本和分布外校准。

Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents?

工作简介： REFLECT 是一个评估 LLM-as-judge 是否能可靠监督 deep research agents 的 meta-evaluation benchmark。它对高质量 agent 执行轨迹做受控、局部化干预，构造覆盖 reasoning、tool-use、evidence use 和 report quality 的细粒度故障检测任务。

简评： 结果很冷水：当前最好的 judge 在总体故障检测上也低于 55%，证据验证尤其差。对研究型 agent 来说，这提示“用另一个 LLM 当裁判”远远不够，必须引入可验证证据、受控干预和过程级审计。

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

工作简介： CopT 反转常见 CoT 流程：先让模型给出 draft answer，再基于该答案进行 on-policy reflection/correction；同时用离散 token 输入与连续 embedding 输入下的支持度差异构造 sequence-level reverse KL 可靠性估计。若 draft 不可靠，系统再继续思考，并动态控制 draft 对后续推理的可见性。

简评： 它试图解决 performative reasoning 和 token 浪费问题，把“是否需要继续想”变成可估计的 inference-time decision。理论上用 mutual information 解释可靠性信号比较有趣，但假设条件和 continuous embedding verifier 的可复现性需要细读；如果成立，对 agentic reasoning 的成本控制很有启发。

CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization

工作简介： CEPO 针对 RLVR 中“正确 rollout 的每个 token 都拿同样奖励”的粗粒度信用分配问题，引入正确答案 teacher 与错误答案 teacher 的对比：真正关键的推理 token 应同时被正确答案支持、被错误答案反对。错误答案 teacher 来自 batch 内 rejected rollouts，因此不增加额外采样成本。

简评： 这篇的亮点是把 token-level credit assignment 做成 contrastive evidence，而不是简单自蒸馏或 reward spreading。实证提升目前主要在 2B/4B 多模态数学推理上，幅度不算夸张，但理论上对“哪些步骤真的导致正确答案”这个问题给了更清晰的训练信号。

GoLongRL: Capability-Oriented Long Context Reinforcement Learning with Multitask Alignment

工作简介： GoLongRL 发布一个完全开源的 long-context RLVR post-training recipe，包括 23K RLVR 样本、构造 pipeline 和训练代码。数据按 9 类长上下文能力组织，并提出 TMN-Reweight 来处理异质任务奖励尺度和难度自适应加权。

简评： 它不是方法论上最惊艳的一篇，但开源数据、pipeline 和训练代码对长上下文 RLVR 很实用。值得关注的是它强调“能力覆盖和奖励多样性”比单纯设计更复杂 retrieval path 更重要，这对长期上下文 agent 训练有参考价值。

Sequential Consensus for Multi-Agent LLM Debates: A Wald-SPRT compute governor with calibration-based failure detection

工作简介： 论文把 Wald 的 Sequential Probability Ratio Test 用作多代理 debate 的计算控制器：每轮由 judge 给出 consensus score，监控器累积“已经有用收敛”与“尚未有用”的似然比，并决定停止或达到上限。作者在 GSM8K 与 MMLU 上展示：GSM8K 可用很少轮数接近 fixed-5 debate 的准确率，而 MMLU 上校准 KL 崩溃，系统几乎总是触顶。

简评： 这篇重要之处不在刷新 accuracy，而在把经典序贯检验用作 debate 的 stopping criterion 和 failure detector。它坦诚展示了跨任务失效：当 judge score 不能区分有用收敛时，停止规则会退化，这比许多只报节省 token 的工作更可信。

开源发布

• AutoResearchClaw：自动科研多代理框架，包含失败恢复、结果验证与 human-in-the-loop 模式；代码见 GitHub。
• OpenComputer：面向 computer-use agents 的可验证桌面软件世界与轨迹评测框架；论文报告已有 33 个应用、1000 个任务。
• GoLongRL：开源 long-context RLVR 数据、构造 pipeline 与训练 recipe，适合跟踪长上下文推理 post-training。
• EnvFactory：自动合成 executable tool-use environments 和多轮轨迹，用于 Agentic RL；今天未列入主文详评，但作为环境合成基础设施值得留意：arXiv。

今天的取舍

今天我没有把视频生成、多模态生成和若干偏应用的预测/编辑论文放进主列表；它们可能有工程价值，但和 Fred 当前偏好的 agent、推理可靠性、轨迹级评估、可验证环境与数学化停止准则相比，优先级较低。