AI Papers, June 16

今天的候选里 agent 与推理训练相关工作很多,但真正值得花时间的主要集中在两条线:一是把 agent 轨迹中的“关键决策点”和信用分配做细;二是把可靠性问题从静态分类改写为在线、过程级诊断。以下筛掉了偏应用或仅工程堆叠的条目。

必读

APPO: Agentic Procedural Policy Optimization

工作简介: 这篇论文研究 agentic RL 中“在哪里分叉探索、如何给分叉后的轨迹分配 credit”的问题,提出 APPO:用结合 token 不确定性与后续 continuation likelihood gain 的 Branching Score 选择细粒度决策点,再用 procedure-level advantage scaling 做信用分配。实验覆盖 13 个 benchmark,相比强 agentic RL baseline 平均提升近 4 个点,同时保持工具调用效率和行为可解释性。

简评: 这很贴近 Fred 关注的 trajectory-level analysis:它没有把 tool-call 边界当作天然信用单位,而是尝试识别序列内部真正影响下游结果的位置。局限是提升幅度不算革命性,且 Branching Score 是否稳定泛化到更开放的环境还需要更多复现,但问题定义和分析角度很值得读。

Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics

工作简介: 作者把 token-level hallucination monitoring 重新表述为 quickest change detection:目标不是整体 AUC,而是在低误报预算下尽快发现幻觉“起点”。论文在 RAGTruth 上用一阶 Markov latent faithful/hallucinated 状态给出 Lorden delay 下界,并说明 causal recurrent labeler 可视为带 learned increment 的 CUSUM;现实检测器虽比线性 baseline 更快,但在低误报下仍漏掉大量 onset。

简评: 这是今天最有数学味、也最契合“停止准则/可靠性”的工作:它把幻觉检测从静态分类推进到序贯决策和延迟-误报权衡。结论也足够清醒——分类指标会掩盖 delay structure,低误报在线检测远比离线 AUC 看起来困难。

值得关注

AdaSR: Adaptive Streaming Reasoning with Hierarchical Relative Policy Optimization

工作简介: AdaSR 面向音频、视频等连续输入场景,让模型在 stream 还未结束时边读边思考,并在输入结束后做 final deliberation。它提出 Hierarchical Relative Policy Optimization,将优化拆成 streaming reasoning 与 deep reasoning 两个阶段,分别处理格式、准确率和 latency-aware computation allocation;代码已开源:GitHub

简评: 这篇的价值在于把“何时思考、投入多少计算”纳入训练目标,而不是只模仿预构造轨迹。它的核心问题和 stopping/compute allocation 很接近;不过目前摘要显示主要是相对 SFT baseline 的改进,离通用在线推理策略还有距离。

Memory is Reconstructed, Not Retrieved: Graph Memory for LLM Agents

工作简介: 论文提出 MRAgent,把 agent memory 表示为 Cue-Tag-Content associative graph,并用 active reconstruction 在推理过程中迭代探索、剪枝检索路径。它在 LoCoMo 和 LongMemEval 上相对强 baseline 最高提升 23%,同时降低 token 和运行成本。

简评: 相比“检索若干 chunk 再推理”的静态范式,这篇把 memory access 本身变成推理过程的一部分,方向上更像可控的图搜索/证据重构。需要关注的是图结构构建成本、tag 质量和长时间部署中的漂移,但它确实击中了长期 agent memory 的关键痛点。

HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry

工作简介: HarnessX 把 agent runtime harness(prompt、tool、memory、control flow)拆成 typed primitives,并用 substitution algebra 组合,再通过 AEGIS 这个 trace-driven multi-agent evolution engine 从执行轨迹中改进 harness。论文报告在 ALFWorld、GAIA、WebShop、tau^3-Bench 和 SWE-bench Verified 上平均 +14.5%,但代码仍是 future release。

简评: 这是“模型以外的 agent 性能杠杆”路线:把轨迹反馈用于 harness 更新和模型训练信号,和 Fred 关心的 workspace/skill/verification loop 很贴。缺点也明显:摘要里概念密度高、系统复杂,且没有代码时很难判断 substitution algebra 与 AEGIS 是否超过工程包装。

C2-Faith: Benchmarking LLM Judges for Causal and Coverage Faithfulness in Chain-of-Thought Reasoning

工作简介: C2-Faith 从 PRM800K 构造 process-faithfulness benchmark,把 CoT 评估拆成 causality(每一步是否由前文推出)和 coverage(关键中间推理是否缺失)。通过受控 perturbation,它评测 frontier LLM judges 在错误检测、错误定位和完整性评分上的能力。

简评: 结果很有警示意义:judge 常能发现“有问题”,但难以准确定位 causal error;同时会系统性高估推理完整性。对任何依赖 LLM-as-judge 做过程奖励、轨迹筛选或自动评审的系统来说,这都是需要纳入风险模型的负结果。

SIMMER: Benchmarking Latent Failures in LLM Executable Planning with a World Model

工作简介: SIMMER 关注 household/kitchen planning 中的 latent failures:不会立即触发执行错误、但会悄悄破坏目标甚至造成不可逆后果。它用人工构建的 symbolic world model 覆盖 77 个动作、262 个对象和约 46,800 个交互,并用 state machine executor 检测 immediate violation、latent hazards 与 irreversible failures。

简评: 这篇把 agent evaluation 从“是否执行成功”推进到“是否在状态层面埋下不可见风险”,很适合可靠 agent 的评测设计。摘要中的结论也严峻:frontier models 最多只有 17% error-free plans;显式 counterfactual foresight simulation 能显著降低 latent failure,说明状态模拟仍是 planning agent 的硬需求。

开源发布

Orchestra-o1: Omnimodal Agent Orchestration

工作简介: Orchestra-o1 是一个 omnimodal agent orchestration framework,面向文本、图像、音频、视频混合任务,包含 modality-aware task decomposition、online sub-agent specialization 和 parallel sub-task execution。作者还提出 DA-GRPO 训练 Orchestra-o1-8B,在 OmniGAIA 上相对第二名提升 10.3%,并报告优于现有开源 omnimodal agents;摘要显示有代码与项目热度。

简评: 作为开源 agent 框架发布值得跟踪,尤其是多模态任务分解和并行子任务执行可能对实际 agent harness 有参考价值。但从摘要看,主要贡献偏系统整合与 benchmark SOTA,是否有可迁移的 orchestration 原理,还要看代码和消融。

今天没收录的明显候选

“From Chatbot to Digital Colleague” 与主题高度相关,但摘要更像范式综述/立场论文,原创实验和可检验贡献不清晰,所以今天没有放入主列表。若后续出现配套系统或实证评测,再单独跟进。