鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册
站长:程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
3
3
3

AI Agent系统中的短期记忆与长期记忆: 架构设计、存储检索与框架对比研究

鱼友6408
鱼友6408
2026-07-01 15:31
阅读 1627
鱼友6408
2026-07-01 15:31
阅读 1627

AI Agent系统中的短期记忆与长期记忆: 架构设计、存储检索与框架对比研究

------基于OpenClaw前置知识的深度技术分析

2026年7月1日

深度调研报告

目 录

摘要

1 引言

1.1 研究背景

1.2 研究范围与方法

1.3 报告结构

2 概念基础:短期记忆与长期记忆

2.1 短期记忆的定义与特征

2.2 长期记忆的定义与特征

2.3 超越二元:记忆的多维分类

2.4 认知科学渊源与AI映射

3 案例深挖:OpenClaw的记忆架构

3.1 四层记忆体系

3.2 核心文件与语义角色

3.3 Heartbeat机制与记忆整合

3.4 优雅降级检索策略

4 多框架横向对比

4.1 框架记忆架构总览

4.2 MemGPT/Letta:操作系统范式

4.3 LangChain:模块化记忆组件

4.4 CrewAI:显式STM/LTM分离

4.5 新兴范式:Text2Mem、Mem0与memU

5 存储技术选型与检索策略

5.1 存储技术选型决策矩阵

5.2 文件系统vs数据库:核心辩论

5.3 检索策略深度对比

5.4 检索vs生成:记忆访问的新前沿

6 记忆安全与隐私风险

6.1 记忆提取攻击

6.2 多Agent共享向量库泄露

6.3 防御建议:三层安全架构

7 结论与建议

7.1 核心结论

7.2 实践建议

7.3 未来研究方向

参考文献

摘要

本报告针对AI Agent系统中短期记忆(Short-term Memory, STM)与长期记忆(Long-term Memory, LTM)的核心区别展开系统性研究。随着大语言模型(LLM)在Agent架构中的广泛应用,记忆系统已从简单的对话历史存储演化为多层认知架构,成为决定Agent能力上限的关键基础设施。报告从概念定义、架构范式、存储技术选型、检索策略及安全挑战五个维度,对OpenClaw、MemGPT/Letta、LangChain、CrewAI、AutoGPT等主流框架的记忆实现进行了深入对比分析。

研究发现:第一,STM与LTM的二元分类仍是当前工程实践的主流范式,但学术界已提出更精细的三维分类框架(forms-functions-dynamics),将记忆沿形式(token级/参数化/潜态)、功能(事实性/经验性/工作性)和动态(形成/演化/检索)三个正交轴展开;第二,操作系统类比(上下文窗口即RAM,持久存储即磁盘,检索即缺页中断)已成为主导性架构隐喻;第三,混合检索策略(向量语义+BM25关键词+时序衰减)相较单一方法可带来20-30%的性能提升;第四,记忆安全构成严峻挑战------MEXTRA研究(ACL 2025)表明黑盒攻击下25-40%的存储记忆可被提取,且更强的模型反而泄露更多。

报告最终提出了存储技术选型决策矩阵、检索策略组合推荐方案以及安全防御三层架构建议,为Agent系统的记忆工程实践提供可操作的技术参考。

1 引言

1.1 研究背景

大语言模型本质上是无状态的------关闭上下文窗口,一切归零。这一根本特性使得记忆系统成为AI Agent从单次对话工具演化为持续智能体的关键使能技术。正如Oracle开发者博客所指出:"Agent记忆是一组系统组件和技术,使AI Agent能够随时间存储、召回和更新信息,从而适应新输入并在长时域任务中保持连续性"(Alake, 2026)。2025-2026年,业界已形成共识:记忆不再是可选功能,而是Agent的护城河------框架间的竞争已从原始模型能力转向记忆架构的精致度。

然而,Agent记忆系统的设计面临根本性张力:扩大上下文窗口虽可容纳更多信息,但因注意力机制的二次复杂度与推理退化效应而被证明不可持续。当Token达到上限时,Agent经历"失忆"(Zhihu, 2026)。因此,如何在有限的上下文预算内实现高效的信息持久化与精准检索,成为Agent工程的核心挑战。

1.2 研究范围与方法

本研究的范围涵盖AI Agent记忆系统的概念框架、架构实现、存储技术和检索策略四个层面。在框架选取上,以OpenClaw为前置知识重点案例,同时横向对比MemGPT/Letta、LangChain、CrewAI、AutoGPT以及新兴的Mem0、memU等系统。研究方法采用多源交叉验证:Agent 1进行综合网络研究获取8个高质量行业来源,Agent 2进行学术文献深挖获取6个A/B级学术来源(含arXiv论文和ACL会议论文),Agent 3进行跨源交叉验证与综合分析。研究时间范围为2023-2026年,以2025-2026年最新进展为重点。

1.3 报告结构

本报告共分七章。第2章阐述短期记忆与长期记忆的概念基础与认知科学渊源;第3章以OpenClaw为重点案例深入分析其四层记忆架构;第4章对六大主流框架进行横向对比;第5章聚焦存储技术选型与检索策略设计;第6章讨论记忆安全与隐私风险;第7章总结研究结论并提出实践建议。

2 概念基础:短期记忆与长期记忆

2.1 短期记忆的定义与特征

在AI Agent系统中,短期记忆被定义为"当前位于上下文窗口内的一切内容"------涵盖用户消息、工具调用结果以及Agent在当前执行循环中的推理链。其核心特征包括:时间即时性(仅存在于当前会话)、容量有限性(受4K-128K Token约束)以及高频更新性(通过滑动窗口机制动态裁剪)。工程上,STM管理的核心挑战在于:当上下文接近容量上限时,如何在保留关键信息与为新输入腾出空间之间取得平衡。主流策略包括滑动窗口(仅保留最近N轮对话)、摘要压缩(将较早上下文压缩为摘要)以及选择性遗忘(策略性丢弃低价值信息)。

2.2 长期记忆的定义与特征

长期记忆是"超越单次调用或会话的持久状态------包括事实、制品、计划、先验决策和工具输出"(Alake, 2026)。它使Agent能够实现跨会话连续性、用户个性化以及经验积累。LTM与STM的关系并非简单叠加,而是动态的:信息从短期向长期流动的整合过程类似于人类记忆形成机制------"日常经验→经过处理→成为长期经验",框架通过后台机制将重要的短期信息摘要化并提升至长期存储(Python_cocola, CSDN, 2026),映射了人类海马体在休息期间将短期体验转化为稳定长期记忆的巩固过程。

2.3 超越二元:记忆的多维分类

尽管STM/LTM二元分类在工程实践中广泛采用,学术界已提出更精细的分类框架。Hu等人(2025)在"Memory in the Age of AI Agents"综述中明确指出,传统长短期二元分类"已被证明不足以捕捉当代Agent记忆系统的多样性",并提出三维forms-functions-dynamics框架:形式维度(token级/参数化/潜态)描述记忆的物理实现;功能维度(事实性/经验性/工作性)描述记忆的用途;动态维度(形成/演化/检索)描述记忆的生命周期。这一框架的关键洞见在于:STM与LTM"不一定需要架构上的物理分离"------它们只是同一组生命周期操作(形成、演化、检索)在任务内与任务间的不同调用频率和模式所产生的效果。

此外,认知科学启发的三分法------语义记忆(持久知识,如"用户偏好简洁回复")、情节记忆(经验性,如"昨天讨论了产品发布")和程序性记忆(任务执行方式)------在工业界也获得采纳。Mem0显式实现了这一三分法,其中程序性记忆尤其值得注意:"如果多步骤任务中途崩溃,Agent能否恢复现场很大程度上取决于程序性记忆保存的完整性"(Tencent Cloud, 2026)。

2.4 认知科学渊源与AI映射

Liang等人(2025)在"AI Meets Brain"综述中系统性地将人类记忆机制映射到AI Agent设计,参考约400篇文献。该综述揭示,当代Agent记忆系统(有限上下文窗口配大型外部向量数据库)与百年历史的人类认知模型已呈现"高度结构一致性"。Atkinson-Shiffrin多存储模型(感觉记忆→短期记忆→长期记忆)可直接映射到Agent的输入感知→上下文窗口→持久存储三层架构。这一映射不仅提供概念框架,还暗示了人类记忆优化策略(如间隔重复、情感标记增强记忆权重)可能对Agent记忆系统设计具有启发价值。

3 案例深挖:OpenClaw的记忆架构

3.1 四层记忆体系

OpenClaw将记忆置于Agent架构的中心位置,所有记忆"可读、可写、可编辑",以文件系统为统一接口。其记忆架构显式分层为四个层级:工作记忆(Working Memory,内存态,约128K Token,当前会话)、短期记忆(Short-term Memory,本地文件,7天保留期,约10MB)、长期记忆(Long-term Memory,永久Markdown文件,无容量限制)和知识图谱(Knowledge Graph,SQLite/JSON,永久,可配置)(lxcxjxhx, CSDN, 2026)。这种四层设计在工程实现上比MemGPT的三层(Core/Archival/Recall)更细粒度,将"工作"与"短期"概念分离------工作记忆是当前活跃的推理上下文,而短期记忆是近期的历史回溯区。

3.2 核心文件与语义角色

OpenClaw记忆系统的核心由若干专用Markdown文件构成,每个文件承载不同的语义角色:


文件 角色 类比 生命周期


SOUL.md 定义AI的性格、行为原则和思维模式 "我是谁" 永久,Agent启动时加载为系统提示

USER.md 记录AI对用户的长期理解(职业、偏好、习惯) "我在和谁对话" 永久,随交互持续更新

MEMORY.md 整合长期记忆,由Heartbeat从日志中摘要写入 经验总账 永久,定期整合

daily-log/YYYY-MM-DD.md 每日事件日志 日记 短期,启动时仅加载最近数日

SOUL.md与USER.md共同确立了Agent每次启动的必要上下文------"我是谁"和"我在和谁对话",映射了人类自然对话前建立角色与关系语境的认知习惯。每日记忆系统作为AI的"日记",memory/目录包含按日期命名的文件。为管理上下文窗口约束,"Agent通常只在启动时加载最近记录------今天、昨天或最近几天"(Python_cocola, CSDN, 2026),实现了近因加权检索。

3.3 Heartbeat机制与记忆整合

Heartbeat机制是OpenClaw记忆系统的关键创新。定义于HEARTBEAT.md中,通常每30分钟触发一次,使AI"检查近期记忆、摘要新的长期信息并提醒用户未完成任务"。这赋予Agent一种超越被动响应的持续自主运行能力。在信息流向上,Heartbeat执行的核心操作是:daily-log → 摘要提取 → MEMORY.md写入,实现了从短期到长期的信息整合,映射了人类海马体在睡眠期间的记忆巩固过程。

3.4 优雅降级检索策略

OpenClaw实现了多策略融合的优雅降级检索:"向量→BM25→纯文本,逐级回退"。MemoryManager类执行流程为:首先进行向量相似度搜索,然后应用时序过滤(仅返回最近N天内容),接着查询知识图谱获取关系实体,最后融合所有结果注入LLM上下文。这种多策略方法回应了纯语义搜索可能遗漏精确关键词匹配、而纯关键词搜索无法处理改述的局限(lxcxjxhx, CSDN, 2026)。值得注意的是,OpenClaw并未放弃RAG,而是将其重新定位------系统将记忆文件向量化并在用户查询历史上下文时使用RAG检索,整体架构为"文件记忆+RAG检索"。

4 多框架横向对比

4.1 框架记忆架构总览


框架 记忆层级 主导范式 存储介质 检索策略


OpenClaw Working→Short→Long→KG (4层) 文件系统中心 Markdown+SQLite 向量→BM25→文本降级

MemGPT/Letta Core→Archival→Recall (3层) 操作系统类比 向量DB+关系DB 分层迁移+按需召回

LangChain Buffer/Window/Summary/VectorStore/KG 模块化组件 可插拔(内存/向量DB) 按组件选型

CrewAI Short-term/Long-term/Entity 显式STM/LTM分离 RAG+向量存储 语义搜索+RAG

AutoGPT 单一外部记忆 ReAct循环+向量DB Pinecone/Weaviate 语义相似度检索

Mem0 语义/情节/程序 (3类) 中间件层 可插拔向量/图DB 推理+检索+重排

4.2 MemGPT/Letta:操作系统范式

MemGPT------现已演化为Letta项目------代表了架构上最具野心的记忆方案,直接受操作系统设计启发。其奠基论文"MemGPT: Towards LLMs as Operating Systems"(Packer et al., 2023, arXiv:2310.08560)提出将LLM视为"有限上下文的计算核心",用类OS抽象管理其记忆。架构将记忆分解为三个显式层级:Core Memory(类比RAM)始终存在于上下文窗口中,每轮可直接访问;Archival Memory(类比磁盘存储)保存按需检索的信息;Recall Memory(类比日志系统)存储历史对话记录以供回溯访问。

关键创新在于上下文溢出处理:不是简单截断旧消息,而是执行"摘要压缩+外部存储+按需召回"的分层迁移------"信息不被丢弃,而是被移至不同层级"(Tencent Cloud, 2026)。此外,Letta使记忆成为"可版本化对象"------记忆变更可追踪、可审计、可重放,"Agent的认知演化首次变得可追溯"。

4.3 LangChain:模块化记忆组件

LangChain提供一组可组合的记忆组件,覆盖STM谱系的不同需求。ConversationBufferMemory存储完整对话历史,缺点是"消息过多时消耗大量Token"(CSDN, 2026);ConversationBufferWindowMemory通过仅保留最近N轮实现滑动窗口;ConversationSummaryMemory定期摘要较早对话段,以细节换取上下文保留;VectorStoreRetrieverMemory将对话历史嵌入向量数据库并按语义相似度检索;ConversationKGMemory从对话中提取实体与关系构建知识图谱。LangChain的方法特征是模块化的即插即用哲学,但随着领域成熟,其记忆抽象被批评为主要关注对话连续性而非更深层的认知架构。

4.4 CrewAI:显式STM/LTM分离

CrewAI实现了短期记忆与长期记忆类型的显式分离。ShortTermMemory使用基于RAG的检索维护当前执行上下文,存储最近的交互和任务输出。LongTermMemory跨Crew和会话持久化,使用向量存储上的语义搜索检索相关历史信息。EntityMemory构建跨任务提及实体的知识图谱。CrewAI架构围绕多Agent协作设计,每个Agent可访问共享记忆资源,使记忆隔离与共享成为一等架构关注点。

4.5 新兴范式:Text2Mem、Mem0与memU

2025-2026年涌现了三种记忆哲学。Text2Mem通过结构化中间表示标准化记忆操作------12个原子动作覆盖写入、检索、摘要、更新、合并、拆分、删除、过期和锁定,带有dry_run模拟和确认要求等安全机制,将记忆从"凭感觉调用"推进到"可验证、可治理、可审计的系统调用"(Tencent Cloud, 2026)。Mem0定位为"工程层"------统一Memory API在上,LLM推理、检索和重排在中间,可插拔向量数据库、图数据库和模型服务在下方,被描述为"非最前沿,但最像工业解决方案"。最具范式冲击力的是memU的"记忆即主动Agent"概念:部署后台MemU Bot"持续观察交互、组织信息、提取记忆并预测下一步所需上下文",将记忆从存储层转变为主动认知组件------"从'Agent拥有记忆'到'记忆本身就是Agent'"(Tencent Cloud, 2026)。

5 存储技术选型与检索策略

5.1 存储技术选型决策矩阵

存储基板的选择已成为Agent记忆架构的核心决策。Oracle开发者博客提供了最系统的对比,主张"文件系统作为接口胜出(LLM已知道如何使用它们);数据库作为基板胜出(并发性、可审计性、语义搜索)"(Alake, 2026)。以下决策矩阵综合了多源分析:


存储类型 适用场景 优势 局限 推荐方案


内存(dict/deque) 工作记忆/当前会话 极速读写、零延迟 不持久、容量受限 Redis/会话缓存

文件系统(Markdown/JSON) 原型/单用户/可调试优先 透明、可编辑、预训练兼容 无ACID、无语义索引 OpenClaw式.md文件

向量数据库(Chroma/Pinecone) 语义检索/大规模知识库 相似度搜索、可扩展 精确匹配弱、成本高 Chroma原型→Pinecone生产

关系数据库(SQLite/PG) 结构化元数据/实体关系 ACID保证、SQL灵活 语义搜索需额外集成 知识图谱+元数据存储

图数据库(Neo4j) 实体关系推理/知识图谱 关系遍历高效 运维复杂、生态小 Entity Memory场景

5.2 文件系统vs数据库:核心辩论

文件系统方案在原型阶段具有显著优势:简单、透明、可调试------"一个Markdown文件夹在迭代速度最重要时出人意料地有效"。LLM在包含代码仓库、文件夹、Markdown和CLI交互的开发者工作流上预训练,使文件系统成为"预训练原生接口"。然而,文件系统在生产规模下暴露关键局限:并发写入可能静默损坏数据------"如果多个Agent或用户触碰同一记忆,从数据库保证开始"。关键词搜索(grep)在改述和同义词上退化,而"语义检索在规模上胜过关键词搜索------向量搜索按意义发现内容,这在知识库增长时至关重要"(Alake, 2026)。

Oracle分析识别了文件系统的九个具体弱点,包括缺乏ACID事务、无原生索引、多Agent协调差以及粗粒度安全控制。结论是:"文件系统记忆保持吸引力,直到你需要并发下的正确性、语义检索或结构化保证------此时要么接受局限,要么采用数据库"。

5.3 检索策略深度对比

检索机制已显著演进,超越简单的顺序访问:


检索策略 适用记忆类型 核心机制 优势 局限


滑动窗口 STM 保留最近N轮 实现简单、延迟低 丢失早期重要信息

摘要压缩 STM→LTM LLM摘要旧上下文 保留语义、节省Token 摘要损失细节、额外LLM成本

语义搜索(向量) LTM 嵌入+余弦相似度+HNSW 语义匹配、改述容忍 精确匹配弱、嵌入偏斜

关键词搜索(BM25) LTM 词频-逆文档频率 精确匹配强、可解释 改述不敏感、无语义理解

时序衰减 LTM 时间距离加权/衰减因子 近因优先、符合认知 旧但重要的信息被抑制

ReMe when_to_use LTM 按使用场景索引而非内容 意图对齐检索 索引构建需额外推理

混合检索 STM+LTM 向量+BM25+时序融合 综合性能最优(+20-30%) 实现复杂、需调参

混合检索策略已成为工程标准。OpenClaw的优雅降级(向量→BM25→文本)、Letta的分层迁移(Core→Archival→Recall)和Mem0的三类记忆系统(语义+情节+程序)都反映了一个共识:单一检索方法无法满足复杂Agent任务的多样化信息需求。定量证据表明,混合策略相比单一方法可带来20-30%的性能提升。

5.4 检索vs生成:记忆访问的新前沿

一个新兴争议是"检索vs生成"------记忆应通过检索已存储项来访问,还是通过从习得模式中生成上下文适当的内容来访问?Hu等人(2025)论证应向"生成式记忆"转变,Agent合成新的记忆表示而非简单提取存储项。而Mem0生态的实践者则坚持显式存储加检索更可靠且可审计。当前所有部署系统均使用检索范式,使生成范式成为开放研究问题而非已确立的竞争方案。

6 记忆安全与隐私风险

6.1 记忆提取攻击

记忆安全已成为Agent系统设计的关键维度。Wang等人(ACL 2025)在MEXTRA研究中的发现尤为严重:通过黑盒提示攻击,可从Agent记忆系统中提取25-40%的存储记忆内容。更具反直觉性的是,更强的LLM骨干(GPT-4o vs. LLaMA-3-70B)反而展现出更高的泄露率,表明"模型能力与隐私风险呈非线性关系"------更强的模型更擅长遵循提取指令,包括恶意指令。此外,使用编辑距离相似度的系统比使用余弦相似度的系统泄露率高20-30%。现有防御机制(LlamaGuard、PromptGuard)被证明无效。

6.2 多Agent共享向量库泄露

当多个Agent共享同一向量数据库时,安全风险被放大。CSDN分析指出"Multi Agent共享向量库可能带来的合规灾难":客服Agent存储的PII(个人身份信息)可能通过共享基础设施无意暴露给研究或供应链Agent(CSDN, 2026)。这不仅是技术问题,更是合规问题------在GDPR等隐私法规下,跨Agent的数据暴露可能构成违规。

6.3 防御建议:三层安全架构

基于现有证据,我们提出记忆安全三层防御架构:

**第一层------会话隔离:**每个Agent会话使用独立的记忆命名空间,防止跨会话数据泄露。在多Agent系统中,严格隔离各Agent的向量存储实例,或使用行级安全策略(RLS)限制访问范围。

**第二层------访问控制与内容过滤:**实现记忆读写的细粒度权限控制,敏感信息(PII、凭证)标记为受限访问。在写入前执行内容安全扫描,在读取时应用动态脱敏。

**第三层------选择性遗忘:**借鉴"AI Meets Brain"综述的生物遗忘机制,实现记忆的自然衰减与主动淘汰。选择性遗忘不仅符合认知效率,还可缩减攻击面------无法检索的记忆无法被提取。

7 结论与建议

7.1 核心结论

**结论一:**STM/LTM二元分类是当前工程实践的有效基础,但不足以捕捉记忆系统的完整复杂性。forms-functions-dynamics三维框架提供了更精细的分析工具,二者分别适用于工程实现与理论分析,并不互斥。

**结论二:**操作系统类比(上下文=RAM,持久存储=磁盘,检索=缺页中断)已成为Agent记忆架构的主导隐喻,为跨框架沟通提供了统一概念语言。

**结论三:**混合检索策略(向量语义+BM25关键词+时序衰减)是当前最优工程实践,量化证据表明相较单一方法可提升20-30%性能。

**结论四:**记忆安全是严峻且未充分解决的挑战。黑盒攻击下25-40%的记忆提取率表明,当前系统的隐私保护远未达到生产级要求。

**结论五:**记忆正从被动存储向主动认知组件演化------memU的"记忆即Agent"范式、Text2Mem的标准化操作接口、Mem0的中间件抽象代表了三个互补的演化方向。

7.2 实践建议

**存储选型:**原型阶段使用文件系统(Markdown+JSON),获得透明性与迭代速度;生产阶段迁移至向量数据库+关系数据库混合方案,获得并发安全与语义检索能力。OpenClaw的文件记忆+RAG检索混合架构是一个可参考的过渡方案。

**检索设计:**采用向量语义检索为主、BM25关键词检索为辅、时序衰减为调制的三重检索策略,实现OpenClaw式的优雅降级。对于高精度需求场景,额外集成知识图谱检索。

**安全设计:**从系统设计初期即纳入会话隔离、访问控制和选择性遗忘三层防御。不要依赖后置的PromptGuard等检测机制------MEXTRA已证明其无效。

7.3 未来研究方向

三个值得深入探索的方向:(1)生成式记忆------Agent按需合成而非检索记忆表示,可能解决模糊、组合性和外推性查询问题,但可靠性和可审计性尚待验证;(2)标准化记忆基准------当前缺乏全面评估记忆容量、检索精度、时序衰减、干扰和安全等多维度的统一基准,Memoria-Bench(ICML 2026)是重要开端;(3)生物启发遗忘机制------选择性遗忘既是认知效率优化,也是安全防御手段,其形式化与工程实现值得深入研究。

参考文献

[1] Alake, R. (2026). Comparing File Systems and Databases for Effective AI Agent Memory Management. Oracle Developers Blog. [B级]

[2] Tencent Cloud (2026). AI Agent的记忆革命来了:真正的分水岭不是模型,而是记忆. Tencent Cloud Developer Community. [B级]

[3] Python_cocola (2026). OpenClaw为什么能记住你是谁?一次拆解AI Agent的记忆系统. CSDN Blog. [C级]

[4] lxcxjxhx (2026). OpenClaw架构全解析:Gateway、Memory、Skills与Session Isolation深度剖析. CSDN Blog. [C级]

[5] OceanBase (2026). 2026 AI Agent记忆系统三大主流范式:从检索到记忆的本质. OceanBase Official Blog. [B级]

[6] CSDN (2026). 深度解析AI Agent的记忆机制:短期记忆、长期记忆与跨会话上下文管理设计. CSDN Blog. [C级]

[7] CSDN (2026). 记忆泄露风险指南 Multi Agent共享向量库可能带来的合规灾难. CSDN Blog. [C级]

[8] Packer, C. et al. (2023). MemGPT: Towards LLMs as Operating Systems. arXiv:2310.08560 [cs.AI]. UC Berkeley. [A级]

[9] Hu, Y. et al. (2025). Memory in the Age of AI Agents. arXiv:2512.13564 [cs.CL]. NUS, Renmin Univ, Fudan, Peking, Oxford. [A级]

[10] Liang, J. et al. (2025). AI Meets Brain: Memory Systems from Cognitive Neuroscience to Autonomous Agents. arXiv:2512.23343 [cs.CL]. [A级]

[11] Jiang, X. et al. (2024). Long Term Memory: The Foundation of AI Self-Evolution. arXiv:2410.15665 [cs.AI]. [A级]

[12] Park, J.S. et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. arXiv:2304.03442 [cs.HC]. Stanford, Google. [A级]

[13] Wang, B. et al. (2025). Unveiling Privacy Risks in LLM Agent Memory. ACL 2025. Michigan State Univ, Univ of Georgia. [A级]

AI
文档
3
3
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片

目录

🔥 热门文章
1
离谱,DeepSeek 崩了 5 小时,大家却喊:梁圣恩情还不完??
450
2
B 站上 DeepSeek 闹鱼灾了,我发起《大肥鱼清除计划》!
410
3
DeepSeek 全新模型发布,性价比最高的一集!
410
4
自己学习ai,直接买cursor 的套餐,还是买gpt 或者claude 的套餐?
370
5
又一个国产版 Codex 神器,也来卷办公了!
340
6
Vibe Coding 实战:从零构建现代专业级 AI 搜索引擎
330
7
day3-如何写出一个高质量的 Skill(组内分享) 高质量 Skill 不是“一个调得很顺的巨型 Prompt”,而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”,再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子,但方法是通用的。 --- 一、先想清楚:Skill 到底是什么 一个 Skill 至少包含四部分: 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做,每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办,而不是硬编一个看似合理的结果 高质量 Skill 的共同点:职责单一、接口清晰、规则可定位、输出可验证。 反例:把几十条经验全塞进一个主 Prompt,改一条规则要重调整个 Prompt,评估时也不知道是哪条规则退化。 --- 二、核心方法:先建评估,再写 Skill 不要先写转换器再补测试。正确顺序是: 1. 定义输出契约:什么算合法、什么算合格; 2. 建金标准集:一小批人工认可“可放行”的样本; 3. 先写评估 Skill:让它在金标准集上跑出基线; 4. 再迭代生成 Skill:每次修改跑同一套评估,无退化且目标维度提升才算正向。 这就是评估驱动开发:评估是 Skill 的单元测试,金标准集是回归锚点。 --- 三、评估 Skill:三层门禁,逐层递进 前一层不过,后一层不跑。每层留可追溯证据。 第 1 层:确定性硬门禁 用解析器、Schema、校验器完成,不消耗模型成本。 · 输出可解析; · 必填字段齐全,类型/枚举合法; · 引用目标存在,无悬空引用、无不可达节点; · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层:语义断言 用脚本 + 结构遍历检查“逻辑对不对”,仍然保持确定性。 通用检查项: · 覆盖率:源材料里的关键步骤、分支、条件,输出里是否都有对应? · 完整性:每个判断节点是否都有明确出口?有没有死胡同? · 可达性:每条路径是否都能到达预期终点?有没有无出口循环? · 顺序与依赖:有先后依赖的操作,是否保留了顺序?有没有被拍平成无序列表? 例子:故障诊断转换中,检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层:LLM-as-Judge 只处理解析器表达不了的维度:忠实度、完整性、可执行性。 但 Judge 会漂移,不能单独放行,必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化,换模型必须用金标准集重新校准。 通用 Judge 维度: 维度 问什么 忠实度 输出是否忠实源材料意图?有没有自行发明内容? 完整性 关键步骤、条件、证据是否保留?隐式知识有没有被压成空话? 收敛性 输出是否仍指向原目标,而不是发散? 可执行性 下游不依赖源材料能否直接使用? --- 四、金标准集:回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子,扩到 15~30 份,覆盖失败模式而非随机抽样: · 完整正例:典型流程; · 边界/异常分支:异常路径、循环、前置失败回退; · 已知易错模式:实际踩过的坑; · 留出集:不参与调优,只用于最终验收,防过拟合。 金标准不需要完美,只需要当前标准下认可可放行。 回归指标:关键路径用 pass^k(k 次全过),稳定性用 pass@k。 --- 五、工程约束:让批量产出可重放 · 幂等:同输入 + 同 Skill 版本 + 同规则 → 输出一致,否则无法判断变好是 Skill 改了还是随机波动; · 隔离不阻断:单份失败进隔离队列,记录失败层和原因,不阻塞其余; · 版本绑定:规则、rubric、金标准集进 Git;每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”; · 抽样人工复核:Judge 临界样本 + 易错模式,人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅,写清:输入约定、输出契约、分步流程、硬规则、降级策略; · 经验规则放 references/ 或 rules/,按失败模式分类,不要全塞进主 Prompt; · 不确定时标 needs_review: true,不要硬编看似合理的结果; · 迭代由评估报告驱动:报告告诉你哪层挂了、哪类失败模式,你改对应规则文件,而不是漫无目的调 Prompt。 --- 七、落地顺序(不要反过来) 1. 固化输出契约:Schema + 结构约束; 2. 建金标准集:从已认可的 + 最易出错的样本开始; 3. 先写评估 Skill:跑出基线报告; 4. 再迭代生成 Skill:每次修改对比逐项通过率,无退化且目标提升才算正向; 5. 批量运行 + 隔离回放:失败进队列,结束后人工抽检; 6. 评估 Skill 自身版本化:换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”:每次修改必须附评估报告对比,逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数:前两层挂了,Judge 分数没有意义。 3. 不许把规则堆进主 Prompt:规则按失败模式分文件,评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”,评估 Skill 决定“敢不敢用”。 先让评估体系站稳,再让生成器迭代。这样交付的不是一堆“看起来还行”的产出,而是一套可证明、可回归、可交接的 Skill 质量体系。
320
8
我的第一个出海产品!7 天 2 万
310
9
WorkBuddy 本地 API 桥 + dsh 插件:把你的 WorkBuddy 额度,变成手边随手可用的模型
310
10
什么是LLM
300
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
墨得问题墨得问题