AI Papers, May 15

今天的候选里，真正值得 Fred 花时间看的集中在两条线：一是把推理/Agent 的中间过程变成可检查、可执行、可修复的对象；二是长程交互训练如何处理分布偏移、探索和环境理解。没有必要用模型发布填充版面，下面只保留我认为有研究价值的工作。

必读

interwhen: A Generalizable Framework for Steering Reasoning Models with Test-time Verification

工作简介： 这篇提出 interwhen，一个单轨迹 test-time verification 框架：推理模型生成长 trace 时，系统周期性轮询中间状态，并异步运行 verifier；一旦发现违反数学、逻辑或策略约束，就给模型反馈来纠偏。它还尝试从自然语言 policy 自动合成 verifier，包括 Lean 和 z3 形式的代码 verifier，并在 reasoning 与 agentic policy-compliance 任务上报告显著提升。

简评： 这很贴近 Fred 关心的 stopping criteria、reliability 和 trajectory-level analysis：它不是只验最终答案，也不是暴力 branch-and-verify，而是把“什么时候介入”建成运行时监控问题。值得注意的限制是 verifier 合成质量会成为上限；但如果这条线成立，它比单纯扩大 test-time compute 更接近可审计推理系统。代码链接：https://github.com/microsoft/interwhen。

Revisiting DAgger in the Era of LLM-Agents

工作简介： 论文把经典 DAgger 重新用于多轮 LLM Agent：通过 student/teacher 在 turn-level 的混合策略收集轨迹，再用 teacher 标签对 student 做监督训练，从而让模型在训练时暴露于自己部署时会遇到的状态分布。作者用 4B/8B 软件工程 Agent 在 SWE-bench Verified 和 SWE-Gym 上验证，报告相对强 post-training baseline 有 3–4 个点左右提升。

简评： 这篇的重要性不在“又刷了 SWE-bench”，而在把长程 Agent 的 covariate shift 说清楚：SFT 有密集监督但 off-policy，RLVR on-policy 但反馈稀疏，DAgger 正好补中间地带。它是一个朴素但有力的训练范式提醒：长程 Agent 的失败常常来自状态分布漂移，而不是单步推理能力不足。

值得关注

Retrieval is Cheap, Show Me the Code: Executable Multi-Hop Reasoning for Retrieval-Augmented Generation

工作简介： PyRAG 把 multi-hop RAG 改写为程序合成与执行：模型不再输出自由形式的 reasoning trace，而是生成调用检索和 QA 工具的 Python 程序；中间实体、检索结果和答案都变成变量与执行 trace。作者在 PopQA、HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle 等数据集上比较，强调执行反馈可用于 adaptive retrieval 与 compiler-grounded self-repair。

简评： 这条路线对知识图谱/RAG/可解释推理很有意义，因为它把“多跳推理”从文本叙述变成了可检查的计算过程，减少 query drift 和自反思幻觉。新意不是“用代码工具”，而是把 retrieval 状态显式化；局限是它可能依赖强代码模型和工具接口设计。代码：https://github.com/GasolSun36/PyRAG。

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

工作简介： 论文研究 long-context 下 many-shot Chain-of-Thought ICL 的 scaling 行为，发现非 reasoning 模型、reasoning 模型、非推理任务和推理任务之间规律并不一致：更多 CoT demonstration 不一定稳定变好，语义相似检索也不能很好预测“过程兼容性”。作者提出 Curvilinear Demonstration Selection，把示例组织成更平滑的概念 progression，并在几何推理上报告提升。

简评： 这篇有价值之处在于把长上下文从“更大的 retrieval buffer”重新解释成“测试时课程学习空间”。对 Fred 关心的 reasoning trajectory 来说，它提醒我们 demonstration 的排序、难度和过程结构可能比表层相似度更关键；不过 CDS 是否能跨任务稳定泛化，还需要更多证据。

EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents

工作简介： EVA-Bench 是面向语音 Agent 的端到端评测框架，自动生成 bot-to-bot 多轮音频对话，并用 EVA-A（任务完成、faithfulness、语音保真）和 EVA-X（对话体验、简洁性、turn-taking timing）两个组合指标评分。数据包括 3 个企业场景、213 个任务、口音和噪声扰动，并用 pass@1、pass@k、pass^k 区分峰值能力和可靠能力。

简评： 这篇最值得看的点是可靠性指标：pass@k 与 pass^k 的差距直接刻画“偶尔能做成”和“稳定做成”的区别，很适合 Agent 评测。它虽然是 voice agent 场景，但方法论可迁移到多轮工具 Agent；当前结果显示没有系统能同时在准确性和体验上超过 0.5，也说明部署距离仍远。项目/代码随论文开源。

RealICU: Do LLM Agents Understand Long-Context ICU Data? A Benchmark Beyond Behavior Imitation

工作简介： RealICU 针对 ICU 长时序临床数据，反对把历史医生行为直接当 ground truth，而是用资深医生事后查看完整病程后标注 patient status、acute problems、recommended actions 和 red-flag actions。它发布 RealICU-Gold 与由 physician-validated Oracle 扩展的 RealICU-Scale，并评估普通 LLM、memory-augmented agent 与结构化记忆 agent ICU-Evo。

简评： 这篇对长程决策评测很有启发：很多真实任务的“当时行为”并不等于最优标签，必须区分行为模仿和 hindsight reasoning。它的 anchoring bias 与 recall-safety tradeoff 也很像通用 Agent 的长期记忆问题；但医疗场景标签成本高，benchmark 的规模与泛化仍需谨慎看待。项目页：https://chengzhi-leo.github.io/RealICU-Bench/。

MAP: A Map-then-Act Paradigm for Long-Horizon Interactive Agent Reasoning

工作简介： MAP 认为当前交互式 LLM Agent 过于依赖边执行边理解环境，导致 delayed environmental perception 和试错式失败循环；它把流程拆成 global exploration、task-specific mapping 和 knowledge-augmented execution，先构建环境 cognitive map 再行动。作者在 ARC-AGI-3 等交互环境中报告，MAP 让前沿模型在多数游戏环境中从接近零的 baseline 提升，并发布 MAP-2K 轨迹数据。

简评： 这篇与“世界模型/环境表征先于行动”的观点一致，适合关注 long-horizon agent planning 的读者。它的风险是概念容易大于实证：所谓 map 的质量、成本和可复用性需要更严格分解；但把“理解环境”与“执行轨迹”分离，是比单纯堆反思 prompt 更清晰的架构方向。

FlowCompile: An Optimizing Compiler for Structured LLM Workflows

工作简介： FlowCompile 把结构化 LLM workflow 的优化看成 compile-time design-space exploration，而不是每个 query 在线路由。它先把 workflow 分解为 sub-agent，profile 不同模型、reasoning budget 和配置，再通过结构感知代理估计 workflow-level accuracy/latency，生成一组可复用的准确率—延迟折中配置。

简评： 这篇是 Agent 系统工程里比较实用的一步：当 workflow 结构固定时，离线编译出 Pareto 配置集，可能比在线自适应更稳、更可控。它不是基础理论突破，但把 LLM workflow optimization 与编译器思想连接起来，对构建可靠、可部署 Agent 管线有参考价值。

开源发布

• EVA-Bench：语音 Agent 端到端评测框架与数据开源，亮点是把 pass@k / pass^k 引入可靠性评估。
• PyRAG：多跳 RAG 的可执行程序轨迹框架，代码见 https://github.com/GasolSun36/PyRAG。
• interwhen：中间轨迹 verifier 与 policy-to-verifier 合成框架，代码见 https://github.com/microsoft/interwhen。
• AnyFlow：视频 diffusion 的 any-step flow-map distillation，虽然不属于 Fred 最核心方向，但作为生成模型 distillation 工程发布可关注：https://arxiv.org/abs/2605.13724。