智能体记忆的构成要素
Hacker News 摘要原标题:The Components of Agent Memory
这篇文章介绍了 Anthropic 在 AI 智能体(Agent)记忆系统设计方面的研究与实践。
核心背景与“做梦”机制
人类的大脑海马体在日常活动中捕捉即时经验,并在睡眠或静息等离线状态下回放这些经历,逐步将其提炼并整合到负责长期知识存储的新皮层中。智能体记忆也采用了类似的分工模式:
• 智能体通过日志或对话记录来捕捉工作过程中的细节。
• 借鉴加州大学伯克利分校和 Letta 研究人员提出的“睡眠期计算”(sleep-time compute),智能体可以在交互间隙的空闲时间反思历史日志、纠正错误并生成新的笔记与表征,这一过程被称为做梦(dreaming)。
• 文章中界定的“智能体记忆”特指模型通过经验获得、跨会话保留并在后续能够读取的上下文知识,排除了修改模型内部权重、单次会话内的上下文学习以及上下文压缩技术。
记忆是对未来需求的预测
记录一条规则或经过验证的事实,本质上是对未来会再次用到该模式的预测。Anthropic 通过持续学习基准测试(CL-Bench 1.0)中的数据库问答任务进行了评估:
• 模型能力的演进:较早的模型如 Claude Sonnet 4.6 只能生成关于错误原因的未经验证的推测,记忆目录较为杂乱。Claude Opus 4.7 将笔记整合为单一参考文档并标注事实确认状态。Claude Sonnet 5 能在核对后标记确认并记录纠错。Claude Opus 5、Opus 5.5 和 Sonnet 5.5 则完全实现了闭环,能够从失败中提炼出验证过的规则、历史答案以及避坑指南,显著提升了任务表现。
显著性判断与指导策略
Anthropic 通过让模型玩游戏《精灵宝可梦 红》来测试其判断“哪些内容值得记忆”的能力:
• Sonnet 3.7 与 Fable 5 的对比:Sonnet 3.7 不加甄别地记录一切,为战斗、物品和非玩家角色创建了 413 个文件和 225 个文件夹,导致大量精力花在整理过时的记忆上,最终只获得 1 枚徽章。而 Fable 5 懂得忽略屏幕上随时可见的信息,重点记录策略、规划和摸索出的机制,仅用 9 个文件、2 个文件夹和一个全局仪表盘文件就获得了 4 枚徽章。
• 引导记忆生成的经验:对于较新的先进模型,告诉它们记忆的用途即可,不必限制具体记录什么。在测试中,给 Opus 5 施加“仅记录失败”的固定规则反而削弱了其表现。但对于较早的模型(如 Sonnet 4.6),提示其在回答前先阅读记忆并验证假设,可以使其基准测试分数接近翻倍。
做梦机制的核心作用
做梦机制通过离线计算为智能体记忆带来了多项提升:
• 纠正记忆中的错误:会话中实时记录的内容可能存在偏差。在宝可梦游戏中,模型误记了月见山宝可梦中心的方向,导致走出建筑后跳下单向悬崖死循环。通过做梦机制,模型比对原始日志与记忆笔记,发现了错误并将其纠正,最终顺利穿过洞穴到达下一座城市。
• 构建新型记忆表征(知识 Wiki):模型可以通过多轮做梦,基于海量文档构建彼此链接的知识 Wiki。在处理约 350,000 个内部文件(约 4.2 亿 Token)的测试中,随着做梦轮次从 2 轮增加到 128 轮,回答相关问题的评分从 13% 提升至 48%。将 Wiki 与搜索工具结合使用时效果最佳,不仅准确率提升到 61%,每个问题还节省了约 20,000 个 Token。不过,如果任务只需要从单个文档检索明确信息,Wiki 的增益并不明显;有时 Wiki 甚至可能过度膨胀,失去提炼价值。
• 向记忆层级顶端提升重要内容:做梦机制可以筛选出高频或关键信息,在每次新会话开始时直接注入上下文窗口,省去搜索步骤。为避免占用过多 Token 或降低指令遵从度,注入层需要保持精炼。例如在 Claude Code 中,系统默认只加载 MEMORY.md 文件的开头 200 行或 25 KB 内容作为索引,其余细节留在下层按需调取。
• 围绕特定目标组织记忆:做梦可以引导记忆的提炼方向。在法律简报基准测试中,最初多个智能体同时向一个共享表格总结合同条款,导致内容被相互覆盖,关键事实遗漏严重。经过反思与调整指令后,系统改为让单个智能体为单份合同创建独立页面并逐字引用条款,最终事实覆盖率从 72% 提高到 100%。
• 填补跨会话的信息空白:单次会话中的笔记视野受限,做梦能够跨多个会话查找缺失内容。例如在 Wiki 生成过程中,第二遍做梦能够自动发现断链并将其重定向至正确文档,同时补充缺失的索引页面。
未来探索的方向
设计智能体记忆系统仍面临若干挑战:
• 记忆生成的时机:实时记录会分散处理当前任务的注意力,离线做梦则存在结果无法立即供当前会话调用的滞后性。
• 记忆的时效性与维护成本:持续检查所有记忆会消耗大量计算资源,未来需要根据环境变化概率和记忆调用的频率来动态调整做梦的节奏。
• 搜索与表征的平衡:以日志搜索为底座,结合 Wiki 等结构化表征是有效的路线,但模型仍需付出计算成本来维护这些表征,避免错误和幻觉的积累。
原文:https://www.anthropic.com/research/components-of-agent-memory