AI Papers, July 4

今天没有特别多“立刻改变方向”的工作，但有几篇非常贴合 agent 可靠性与长程行为分析：一类在尝试把 fuzzy/agentic 能力编译成可复用对象，另一类把长程 agent 的记忆、轨迹和评估成本拆开来量化。下面只保留我认为值得认真扫一眼的论文；一些应用型 benchmark 和领域系统没有硬塞进来。

必读

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

工作简介： 这篇提出“fuzzy-function programming”：把自然语言描述的模糊函数编译成一个小型、可本地运行的神经 artifact，而不是每次调用大模型 API。具体实现 PAW 用 4B compiler 在 FuzzyBench（1000 万样例）上训练，为冻结的 0.6B Qwen3 interpreter 生成参数高效 adapter；作者报告其效果接近直接 prompt Qwen3-32B，但推理显存约为后者五十分之一。

简评： 亮点在于把 foundation model 从“每个输入都求解”转成“先生成可复用工具”，这和 agent skill、可执行 memory、程序化知识蒸馏是一条线。需要重点看 FuzzyBench 的任务分布和 adapter 泛化边界：如果 benchmark 主要覆盖浅层分类/修复任务，范式意义仍大于当前实证强度。

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

工作简介： 论文把长程 agent 的 memory 设计形式化为一种“每一步允许看到什么”的契约：不再把完整历史 transcript 塞回 prompt，而是每步用 typed retrieval 组装新的 bounded user message。作者在 Slay the Spire 2 上发布 298 条带条件标签、memory/skill 快照、prompt 记录和分析脚本的轨迹，用来研究显式记忆层如何影响数百步随机决策。

简评： 这比单纯报 win rate 更有价值，因为它把长程 agent 的可复现实验单元放在轨迹、记忆层和 ablation 上。当前样本量仍小，核心结果如 skill layer 3/10 到 6/10 胜率也未达到统计显著；但方法论对 Fred 关心的 trajectory-level analysis 和 bounded memory 很值得读。

值得关注

PACE: A Proxy for Agentic Capability Evaluation

工作简介： PACE 试图用少量非 agentic、原子能力测试题来预测昂贵 agent benchmark（如 SWE-Bench、GAIA）上的表现。它从 19 个非 agentic benchmark 中选择和目标 benchmark 最相关、全局信息量又高的实例，拟合回归器来预测 14 个模型在 4 个 agent benchmark 上的分数。

简评： 如果结果稳健，这对模型开发、routing 和预筛选非常实用：作者声称不到完整 agent evaluation 1% 的成本即可达到 MAE <4%、Spearman >0.80。主要风险是模型集合太小、benchmark 之间有时代相关性；这种 proxy 很容易在下一代模型或新 harness 下失效，需要持续校准。

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

工作简介： MemSyco-Bench 关注 retrieved memory 如何诱导 agent 迎合用户、牺牲事实或客观推理，而不是只测 memory 是否被正确存取。它设计五类任务：拒绝把 memory 当事实证据、限定 memory 适用范围、处理 memory 与客观证据冲突、追踪 memory 更新，以及在有效场景下合理个性化。

简评： 这是 memory benchmark 里很重要的方向转移：从“记得住”转向“知道什么时候不该用记忆”。对长期个人 assistant 尤其关键，因为用户偏好和用户陈述经常会污染事实判断；值得看其任务是否足够逼真，以及是否覆盖多轮渐进式污染。

DRIFTLENS: Measuring Memory-Induced Reasoning Drift in Personalized Language Models

工作简介： DRIFTLENS 研究个性化 memory 是否改变模型的 reasoning trajectory，即使最终回答仍流畅合理。它把推理步骤映射到 value category，比较无 memory 与注入用户属性 memory 后的轨迹差异，并在四个 LLM、十类用户属性上测量 memory-induced reasoning drift。

简评： 这和 MemSyco-Bench 形成互补：一个偏决策正确性与适用范围，一个偏无标准答案场景中的推理路径漂移。它的难点是 value-category 标注本身可能引入主观性，但“最终答案不变、推理路径已偏移”这个问题对可靠个性化 agent 非常值得重视。

From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

工作简介： 论文提出用 step-wise reward modeling 与 conformal prediction 给 agent 每一步内部表示打上“成功/失败/漂移”等统计标签，再训练 linear probe 找到 activation space 中的 temporal concept direction。实验在 ScienceWorld 与 AlfWorld 上展示这些 temporal concepts 与任务成功具有线性可分结构，并初步尝试用成功方向进行 steering。

简评： 这篇吸引人的地方是把 conformal uncertainty、内部表示 probe 和 agent trajectory failure detection 接起来，而不是只做事后解释。局限是目前环境较小、steering 结果仍初步；但作为“早期失败检测 + 可干预 agent 表征”的路线，和停止准则/可靠性研究高度相关。

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

工作简介： SkillCoach 针对 agent skill repository 中技能重叠、误选和误组合的问题，从真实 rollouts 中自动演化 skill-grounded process rubrics。它把轨迹质量拆成技能选择、技能遵循、技能组合、基于技能的反思四个维度，并把外部 verifier 的最终成功率保留为独立 outcome signal。

简评： 这篇的价值在于把“任务过了”与“技能使用过程真的健康”分离，能够暴露 outcome-only filtering 看不到的偶然成功。它与最近的 skill distillation、trajectory supervision 很接近，创新不算最大，但对构建可维护 agent skill 层很实用。

开源发布

• PAW / FuzzyBench：候选源显示有代码与 GitHub 热度；若仓库完整开放，值得后续跟踪其 compiler、interpreter 与数据生成方式。
• AgenticDataBench：一个面向 data agents 的综合 benchmark/testbed，覆盖 15 个垂直领域和技能级标签；今天未列入正文，是因为它更像系统性评测资源而非概念突破，但对数据分析 agent 评测仍有实用价值。

今天可略过的方向

一些论文是不错的领域应用或常规 benchmark（如 specialized video grounding、cloud self-healing、医疗/机器人应用系统），但今天和 Fred 关心的 agent 机制、轨迹可靠性、因果/概率推理的贴合度不如上面几篇。另有一篇 Grounded Iterative Language Planning 很相关，但已经在之前日报记录过，今天按去重规则跳过。