AI Papers, May 23

· AI Notes

今天没有特别“颠覆式”的单篇论文，但有几篇非常贴近 agent/reasoning 训练机制的问题：什么时候规划、怎样把序列级奖励落到 token 或子问题、以及如何把 agent 轨迹转成可监督的长上下文能力。

必读

Efficient Agentic Reasoning Through Self-Regulated Simulative Planning

工作简介： 这篇工作提出 SR²AM，把 agent 决策拆成 reactive execution、simulative planning 和 self-regulation 三层：LLM 作为 world model 进行未来状态模拟，另一个 learned configurator 决定是否规划以及规划多深。作者用提示生成的多模块轨迹和从 reasoning LLM traces 重构的结构化计划做 SFT+RL，在数学、科学、表格分析和 web information seeking 上评估。

简评： 它的价值不在于又做了一个 agent scaffold，而是明确把“是否值得思考/规划”作为可学习控制问题，和 Fred 关注的 stopping criteria、trajectory-level analysis 很贴近。需要谨慎的是，规划阶段仍主要在自然语言 CoT 内实现，所谓 world model 的可校验性和跨环境稳定性还需要更强的实证。

DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards

工作简介： DelTA 从 discriminator 视角解释 RLVR：序列级 reward 的 policy-gradient 更新会隐式形成一个区分高/低奖励 response 的 token-gradient 线性判别器。论文指出常规 advantage 加权 centroid 容易被格式 token 等高频共享模式稀释，于是估计 token coefficients，放大真正区分成功与失败轨迹的方向，并在数学、代码和 OOD benchmark 上测试。

简评： 这是今天最有机制味的一篇：它不是简单换 RL recipe，而是试图解释“response-level reward 到 token-level 概率变化”这条黑箱链路。增益幅度中等，但问题定义很关键，适合和 process reward、trajectory credit assignment、rank-1 trajectory extrapolation 等近期工作一起看。

值得关注

ACC: Compiling Agent Trajectories for Long-Context Training

工作简介： ACC 把 search、软件工程、数据库查询等 agent 在多轮工具调用中产生的轨迹，编译成“原始问题 + 分散在多轮 observation 中的证据 → 直接回答”的长上下文 QA 训练样本。它避免只监督 tool selection 而 mask 掉 tool responses 的盲区，在 MRCR 和 GraphWalks 等长程依赖任务上显著提升 Qwen3-30B-A3B。

简评： 这篇很实用：agent 轨迹不只是行为模仿数据，也可以作为长上下文 evidence integration 的天然监督。局限是把工具交互压扁成无工具 QA 后，可能提升的是离线整合能力而非在线决策能力；但作为 trajectory reuse 的思路值得跟进。

From Reasoning Chains to Verifiable Subproblems: Curriculum Reinforcement Learning Enables Credit Assignment for LLM Reasoning

工作简介： SCRL 从参考 reasoning chains 中构造可验证子问题 curriculum，把最终原题固定为最后一个子问题，并对每个子问题位置独立做 reward normalization，再把 advantage 分配到对应答案 span。作者在七个数学 reasoning benchmark 上对比 GRPO 和 curriculum baselines，尤其关注 hard problems 上 rollout 稀疏导致的 gradient dead zone。

简评： 它和 DelTA 形成互补：DelTA 做 token-gradient 判别，SCRL 则把 credit assignment 显式结构化到子问题层。方法依赖可拆解的参考链和可验证子题，通用性未必覆盖开放式 agent 任务，但对数学/形式推理训练很有参考价值。

Evolutionary Generation of Multi-Agent Systems

工作简介： EvoMAS 把多智能体系统生成表述为 configuration-space 的进化搜索，而不是直接生成代码或套固定模板。它基于执行 traces 做 feedback-conditioned mutation/crossover，并维护 candidate pool 与 experience memory，在 BBEH、SWE-Bench、WorkBench 上和人工设计 MAS、EvoAgent 等比较。

简评： 亮点是把“agent 架构搜索”转向更可执行、更鲁棒的结构化配置空间，这比纯 codegen 更像可工程化的 agent compiler。论文是替换版，部分结果（如 Claude-4.5-Sonnet 在 SWE-Bench-Verified 上 79.1%）需要看细节设定，但方向符合自动化 agent design 的趋势。

ChronoMedKG: A Temporally-Grounded Biomedical Knowledge Graph and Benchmark for Clinical Reasoning

工作简介： ChronoMedKG 构建了一个带时间轴的 biomedical KG，把疾病关联绑定到 onset window、progression stage 等 temporal components，并用 PMID 证据、多模型共识、ontology alignment 和 credibility score 过滤。配套 ChronoTQA benchmark 覆盖静态与时间性临床问题，评估 frontier LLM 与 KG-RAG 在 temporal reasoning 上的差距。

简评： 对 Fred 关注的 KG 和 reasoning 很相关：它指出临床 KG 的关键缺口不是“事实够不够多”，而是事实何时成立。风险在于 LLM multi-agent 抽取医学知识的误差传播，但 temporal grounding 这个建模维度本身很值得借鉴。

Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention

工作简介： 这篇针对 linear attention / Delta-rule 模型中“erase”和“write”被同一个 scalar gate 绑定的问题，提出 Gated Delta Rule-2，用 channel-wise erase gate 和 write gate 分离压缩记忆的删除与写入。作者给出 fast-weight update 视角、chunkwise WY 算法和 gate-aware backward pass，并在 1.3B/100B tokens 训练规模上与 Mamba、KDA 等比较。

简评： 这是偏架构的一篇，但和长上下文/高效推理强相关：它把 recurrent-state memory 的编辑操作拆得更精细，长程检索表现尤其值得看。是否能在更大模型、更真实 agent 长上下文场景中保住优势，还需要后续验证。

π-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows

工作简介： π-Bench 面向 proactive personal assistant agents，构造 100 个跨 5 类 persona 的多轮任务，包含 hidden user intents、inter-task dependencies 和 cross-session continuity。它区分 task completion 与 proactivity，用长程交互轨迹测试 agent 是否能在用户尚未明说时识别和处理潜在需求。

简评： 这不是算法突破，但 benchmark 设定切中个人助理 agent 的真实难点：主动性不是多问几句或多做几步，而是要在长期上下文中识别隐含约束。对于评估 Hermes/OpenClaw 这类系统的“何时主动、何时停止”很有参考价值。

开源发布

今天没有看到足够重大的独立模型发布；较值得留意的开源项目主要是上面几篇论文附带的实现与数据：EvoMAS、Gated DeltaNet-2、TransitLM、Maestro、When2Tool 等。其中 TransitLM 是一个 1300 万级公交路线规划数据集，应用价值明确，但相对 Fred 当前的核心研究兴趣更偏垂直数据/benchmark，因此未列入正文重点。

← AI Papers, May 22 AI Papers, May 24 →