AI Papers, June 12

今天有几篇确实贴近 Fred 关注点的工作：自主研究代理开始从“一次次尝试”转向可积累证据的长期搜索；agent 环境、benchmark 与 verifiable environment 的工程化也在继续升温。没有把所有高分候选都塞进来，偏应用或常规 survey 只保留了与可靠性、轨迹分析和 agent infrastructure 关系较强的条目。

必读

Toward Generalist Autonomous Research via Hypothesis-Tree Refinement

工作简介： 这篇提出 Arbor，一个面向 autonomous research 的长期代理框架：用 long-lived coordinator 管理全局研究策略，用 short-lived executors 在隔离 worktree 中实现和测试假设，并用 Hypothesis Tree Refinement 持久记录 hypothesis、artifact、evidence 与 distilled insight。论文在 Autonomous Optimization 设置下评估六个真实研究任务，并报告 Arbor 在相同接口与资源预算下超过 Codex 和 Claude Code，MLE-Bench Lite 上也给出较强结果。

简评： 这篇值得读的原因不只是“agent 做 research”，而是把研究过程显式建模成可追踪、可复用、可验证的树状证据累积，正好对应 Fred 关心的 trajectory-level analysis、stopping/selection 与长期可靠性问题。需要留意的是，结果很依赖任务设计、评估协议和工程实现；真正的科学新颖性评估仍然可能被 benchmark proxy 放大。

Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code

工作简介： 论文指出 Grammar-Constrained Decoding 本来用于提升代码生成的语法可靠性，却可能成为新的攻击面；作者提出 CodeSpear，用看似良性的代码 grammar constraint 诱导模型生成恶意代码，并在 10 个 LLM、4 个 benchmark 上比常见 jailbreak baseline 平均提高 30 个百分点以上攻击成功率。对应防御 CodeShield 通过在 GCD 下生成语义无害、结构多样的 honeypot code 来保持安全拒答能力。

简评： 这项工作重要在于揭示“可靠性工程”与“安全边界”之间的反直觉冲突：约束解码不是纯粹的安全增强，它改变了模型可表达空间和拒答通道。对代码 agent、工具调用和结构化输出系统而言，这提醒我们必须把 decoder/harness 也纳入 threat model，而不是只评估 base model alignment。

值得关注

Agentic Environment Engineering for Large Language Models: A Survey of Environment Modeling, Synthesis, Evaluation, and Application

工作简介： 这是一篇关于 agentic environments 的系统综述，按 environment engineering lifecycle 组织环境建模、自动合成、评估与应用，并把 agent-environment co-evolution 分成 memory-centric、orchestration-centric、trajectory-centric offline evolution 和 exploration-centric online evolution 等路径。它还讨论 Environment-as-a-Service、multi-agent environments、neural-symbolic environments 等方向。

简评： 虽然是 survey，概念密度较高，适合用来整理“环境作为能力增长基础设施”的研究版图。对 Fred 来说最有价值的是它把环境从静态 benchmark 提升为 agent 学习和演化的对象；但综述类工作本身不提供强实证结论，适合作为索引而非证据。

Claw-SWE-Bench: A Benchmark for Evaluating OpenClaw-style Agent Harnesses on Coding Tasks

工作简介： 论文提出 Claw-SWE-Bench，一个用于比较通用 agent harness 在 SWE-style coding tasks 上表现的 benchmark 与 adapter protocol。完整集包含 350 个跨 8 种语言、43 个仓库的 issue-resolution 实例，并固定 prompt、runtime budget、workspace contract、patch extraction 和 evaluator；实验显示同一 GLM 5.1 backbone 下，adapter 设计可让 OpenClaw 从 19.1% Pass@1 提升到 73.4%。

简评： 这篇的核心价值在于把“模型能力”和“harness/adapter 能力”拆开度量，且把成本作为一等指标；这比单纯报告 SWE-bench 分数更接近真实 agent 系统评测。局限是它仍然围绕编码任务，但方法论可迁移到其他工具型 agent benchmark。

Verifiable Environments Are LEGO Bricks: Recursive Composition for Reasoning Generalization

工作简介： 作者提出 RACES，把 verifiable environments 看成可组合的积木：当一个环境的输出类型匹配另一个环境的输入类型时，就能通过 sequential、parallel、sort、select 等 operator 自动合成新环境。用 300 个基础环境实验后，RL 训练在多个 unseen reasoning benchmarks 上带来稳定提升，并显示 50 个基础环境的组合可接近 300 个单独环境的效果。

简评： 这篇和近期“用可验证环境扩展 RLVR”的趋势高度相关，亮点是给出了类型匹配与递归组合的可操作机制，而不只是堆更多人工题。增益幅度不算惊人，但思想上对 scalable reasoning curriculum、任务组合泛化和环境生成都很有启发。

MedCTA: A Benchmark for Clinical Tool Agents

工作简介： MedCTA 是面向临床工具代理的 benchmark，包含 107 个 clinician-validated、step-implicit 的真实多模态临床任务，覆盖放射影像、病理切片和报告，并给出 5 个已部署工具上的 clinician-verified executable trajectories。评测维度包括 tool selection、argument validity、execution stability、trajectory fidelity 和 outcome quality。

简评： 这篇的价值在于过程级评估：它发现前沿多模态模型在自主 rollout 中仍会大量出现协议失败、过早停止和错误工具招募，说明“强感知 backbone”不等于可靠临床 agent。对 Fred 关注的停止准则、轨迹可靠性和高风险 agent 审计很有参考意义。

On the Limits of LLM-as-Judge for Scientific Novelty Assessment

工作简介： 论文构建 RQ-Bench，用近期 arXiv 论文的背景、gap 与贡献重建 author-anchored research questions，并比较 LLM judge 与领域专家对模型生成 RQ 的 novelty 判断。结果显示 LLM judge 往往把模型生成的问题评得很新，形成 novelty mirage；专家则更偏好作者锚定的问题，并指出许多生成问题狭窄或源材料绑定。

简评： 这项工作直接击中自动科学发现系统的薄弱环节：如果 novelty evaluator 本身系统性偏乐观，research agent 的搜索和筛选就会被错误奖励牵引。它不是解决方案，但作为警示很重要，尤其适合和 autonomous research / AI scientist 类工作一起读。

Redesign Mixture-of-Experts Routers with Manifold Power Iteration

工作简介： 论文从数学原则出发重新设计 MoE router：将每个 router row 对齐到对应 expert 矩阵的 principal singular direction，并用 Manifold Power Iteration 的 “Power-then-Retract” 过程在保持范数约束的同时推动这种对齐。作者给出收敛分析，并在 1B 到 11B 的 MoE 预训练实验中验证有效性。

简评： 这篇不是 agent 论文，但在“有明确数学结构的模型工程”上比较干净，避免了只靠经验 recipe 调参。若理论假设与大规模训练稳定性进一步成立，它可能成为 MoE routing 设计中少见的 principled baseline。

开源发布

• Arbor 论文标注有代码，适合关注 autonomous research framework 的实现细节：arXiv。
• Claw-SWE-Bench 已给出 GitHub 与 HuggingFace 数据集入口：https://github.com/opensquilla/claw-swe-bench，https://huggingface.co/datasets/TokenRhythm/Claw-SWE-Bench。
• CodeSpear/CodeShield、Reroute、ICALens 等候选也标注有代码，但今天未作为主要条目展开；若后续仓库成熟，可再单独跟进。