AI Papers, June 6

今天的候选里与 Fred 兴趣最相关的是“Agent 如何长期自我改进、如何评估交互式规划、以及多 Agent 是否真的带来收益”。我没有强行补齐数量;以下工作中,前两篇最值得优先读。

必读

MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery

工作简介: 这篇提出 MLEvolve,一个用于端到端机器学习算法发现的自进化多 Agent 框架。核心包括 Progressive MCGS,让搜索树分支之间通过图式 reference edges 共享信息;Retrospective Memory,把冷启动领域知识和动态全局经验结合起来;并把策略规划与代码生成解耦,用于 12 小时预算下的 MLE-Bench 和数学算法优化任务。

简评: 这篇与“长程 Agent 自我改进”和“轨迹级经验复用”高度相关,不只是又一个 coding agent wrapper,而是在搜索结构、记忆与层级控制上同时做了系统设计。需要留意的是,自动算法发现 benchmark 很容易受工程细节影响,真正的科学发现能力还需要更多可复现实验支撑;但作为开源框架,值得 Fred 花时间看。代码:GitHub

Rethinking Continual Experience Internalization for Self-Evolving LLM Agents

工作简介: 这篇系统研究 LLM Agent 把过去交互经验“内化”为参数能力时,在多轮经验学习下为什么会出现 capability collapse。作者比较经验粒度、注入方式和 internalization regime,发现 principle-level experience、step-wise injection、以及基于高质量 teacher trajectory 的 off-policy context distillation 更稳定。

简评: 这是今天最贴近 Fred 长期关注点的一篇:它把“经验是否真的能累积”从口号推进到可诊断的训练机制问题。尤其是 progressive collapse 的发现值得重视,因为很多 self-evolving agent 论文默认多轮迭代会自然变好;这篇提醒我们,经验压缩、轨迹选择和注入位置本身就是可靠性瓶颈。

值得关注

AdaPlanBench: Evaluating Adaptive Planning in Large Language Model Agents under World and User Constraints

工作简介: AdaPlanBench 是一个动态交互式 benchmark,用 307 个 household tasks 测试 LLM Agent 在世界约束和用户约束逐步暴露时能否反复修订计划。实验覆盖十个主流模型,环境只在 Agent 提出违反隐藏约束的方案后才反馈约束,迫使模型持续追踪和整合新信息。

简评: 这比静态 planning benchmark 更接近真实助手场景,也直接触及“何时停止、何时重规划、如何维护约束状态”的问题。最佳模型只有 67.75% accuracy,说明当前 Agent 的动态约束吸收能力仍弱;局限是 household setting 相对窄,但评测形式值得借鉴。

Unsupervised Skill Discovery for Agentic Data Analysis

工作简介: 这篇提出 DataCOPE,用无监督 verifier-guided 方法从数据分析 Agent 的探索轨迹中发现可复用技能。它用 trajectory-derived verifier signals 区分相对高质量轨迹,再通过 Skill Manager 做 contrastive skill distillation;在 report-style 和 reasoning-style 数据分析任务上分别提升平均分。

简评: 亮点是把“技能发现”从人工标注或成功/失败标签推进到无监督轨迹比较,对长期运行的数据分析 Agent 很有价值。它的 verifier 信号仍有自举偏差风险,尤其在报告类任务中 checklist 的可验证性有限;但方向上符合 Fred 对 trajectory-level analysis 和 Agent skill memory 的兴趣。

TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration

工作简介: TIDE 研究 Agent 如何在文档、工作空间或代码库中主动发现多个隐藏问题,而不是只响应用户明确提出的问题。方法上,它通过 template-guided iterative discovery 每轮找一小批问题,并基于已发现内容继续扩展覆盖面;thought templates 则把过去案例蒸馏成可复用的问题识别 schema。

简评: 这篇对个人 Agent 和软件维护 Agent 都有启发:真实工作中很多价值来自“发现用户还没意识到的问题”。不过,主动发现容易滑向噪声和过度打扰,论文摘要里还看不出足够强的 stopping / prioritization 机制;如果后续有代码或真实 workspace 评测,值得继续跟踪。

Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

工作简介: BenchAgent 把 single-agent、固定 multi-agent 和 evolving MAS 工作流放在同一 benchmark loader、tool access、answer contract、usage accounting 与 trajectory logging 协议下评测。结果显示,在十个 reasoning / coding / tool-use benchmarks 上,大多数多 Agent 系统并没有超过匹配的单 Agent baseline,且成本-准确率权衡更差。

简评: 这是对“多 Agent 默认更强”叙事的必要冷水,和 Fred 关注的可靠评测、轨迹日志、协议对齐非常相关。它的价值不在提出新架构,而在控制变量后揭示 MAS 增益经常来自不公平协议或外部 scaffold;值得作为评估多 Agent 论文时的 sanity check。

CollabSim: A CSCW-Grounded Methodology for Investigating Collaborative Competence of LLM Agents through Controlled Multi-Agent Experiments

工作简介: CollabSim 用 CSCW 理论定义和评估 LLM 多 Agent 的 collaborative competence,包括建立 common ground、维护共享任务理解、平衡个体和集体目标、以及修复错位。框架支持控制交互条件,并在 action-level 探测 Agent 内部状态,实验比较四个 LLM 的协作模式。

简评: 这篇的意义在于把 MAS 评测从“最终任务是否成功”推进到“协作过程为什么失败”。它更像方法论和实验框架,而不是立即提升性能的算法;但对研究多 Agent 可靠性、协作失配和过程级诊断很有参考价值。

LLMs Can Leak Training Data But Do They Want To? A Propensity-Aware Evaluation of Memorization in LLMs

工作简介: 这篇提出 PropMe,把训练数据泄漏评测拆成“能否被攻击诱导泄漏”和“普通使用中是否倾向泄漏”两个维度,并用 SimpleTrace 基于 infini-gram 做确定性溯源。作者在两个完全开放模型和两个语料上发现,prefix attack 能显著诱导记忆输出,但非对抗场景下 propensity score 低得多。

简评: 这篇不是 Agent 论文,但它对模型可靠性和安全评估很有价值:只报告 worst-case extractability 会夸大日常泄漏风险,只报告普通泄漏又会低估攻击面。Fred 如果关心“评测指标到底测了什么”,这篇提供了一个很清晰的 capability vs propensity 区分。

开源发布

  • MLEvolve:自动机器学习算法发现的自进化多 Agent 框架,论文和代码同发,GitHub 当前有较高关注度。链接:GitHubarXiv
  • OPRD: On-Policy Representation Distillation:把 on-policy distillation 从输出概率空间移到 hidden-state representation 对齐,声称在数学推理任务上更快、更省显存。方向有意思,但今天没有放入正文重点。链接:GitHubarXiv