不可见的攻击面
每一个具有记忆功能的 AI 系统都创建了一个大多数安全团队尚未绘制的新攻击面。虽然组织在保护 API、数据库和网络边界上投入巨资,但 AI 记忆层——学习事实、偏好和行为模式的持久化存储——往往处于安全盲区。
这个盲区之所以存在,是因为 AI 记忆是一个全新的数据类别。它不像传统数据库那样结构化,不像会话数据那样短暂,也不像配置文件那样静态。AI 记忆是持续被自动化系统创建、修改和查询的活的、不断演化的记录。它们包含用户交互的精炼版本、推断的偏好和提取的事实——通常比派生它们的原始数据更敏感。
安全影响是深远的。一个被攻破的 AI 记忆系统不仅仅是泄露数据——它允许攻击者通过改变 AI "知道"的内容来操纵 AI 的行为。这是一个与传统数据泄露根本不同且更危险的攻击类别。窃取一条客户记录是糟糕的。投毒一条 AI 记忆导致系统为成千上万的用户做出错误决策是灾难性的。
在本文中,我们审视了 AI 记忆系统面临的三大主要威胁类别——记忆投毒、数据泄露和访问控制漏洞——并呈现了应对这些问题所需的安全架构。我们还将这些关注映射到企业必须满足的合规框架,包括 ISO 27001、SOC 2、GDPR 和 CCPA。
AI 记忆的安全问题不是未来的担忧。它是几乎每一个在会话间维持状态的 AI 部署中的当今漏洞。而且,没有人以应有的紧迫性在讨论这个问题。
记忆投毒:沉默的威胁
记忆投毒是对 AI 记忆系统中事实的蓄意或意外损坏。与仅操纵单次交互的提示注入不同,记忆投毒会在所有未来交互中持续存在。投毒的记忆成为 AI "知识"的一部分,影响后续的每一个决策,直到损坏被检测到并修复。
记忆投毒的攻击向量是多种多样的。直接注入发生在攻击者以某种方式操纵对话,导致记忆提取系统存储虚假事实时。例如,用户可能在支持对话中说"实际上,我的账户上周升级到了企业层级。"如果提取管道在不验证的情况下将其存储为事实,AI 将在所有未来交互中将该用户视为企业客户。
间接投毒更为隐蔽。攻击者可能在多次对话中逐渐引入小的不准确之处,每个单独看都是合理的,但整体上在记忆系统中构建了一个虚假的叙述。数周后,AI 对用户档案的理解变得越来越扭曲,而没有任何单次交互看起来可疑。
跨用户投毒利用共享记忆上下文。在多租户系统中,如果一个用户可以影响影响其他用户的记忆——即使是通过共享知识库或组织记忆间接影响——单个投毒攻击的影响范围可能是巨大的。
MITRE AI 安全部门 2025 年的报告将记忆投毒确定为企业 AI 系统的五大新兴威胁之一,指出在被测试的系统中,记忆投毒攻击的检测率低于 12%。报告强调,大多数组织没有自动化机制来检测或修复投毒记忆。
记忆投毒的根本挑战在于损坏的记忆看起来与合法的完全一样。"用户偏好深色模式"(合法)和"用户是企业客户"(投毒)之间没有语法差异。检测需要语义验证——检查记忆是否与其他已知事实一致——而大多数记忆系统不执行此操作。
通过记忆的数据泄露
通过 AI 记忆的数据泄露是一类漏洞,其中存储在记忆系统中的信息被暴露给未授权方。这可以通过几种机制发生,每种都有不同的风险特征。
记忆推断攻击利用 AI 在生成响应时倾向于利用所有可用记忆。如果用户 A 的记忆无意中泄漏到用户 B 的上下文中——通过共享的组织记忆、范围不当的查询或记忆系统错误——用户 B 接收到他们不应该访问的信息。这在不同组织共享相同记忆基础设施的多租户环境中特别危险。
跨会话泄漏发生在一个对话上下文的记忆不当地影响另一个时。如果用户与金融 AI 助手讨论机密财务信息,而这些记忆后来在关于不同主题的另一次对话中浮现,信息就跨越了应该隔离的上下文泄漏了。
通过记忆的模型提取是一种复杂的攻击,对手系统性地查询 AI 以提取其关于其他用户或组织存储的记忆。通过提出精心设计的问题,攻击者可以重建从私人对话中提取的敏感信息。
记忆的持久性创建了独特的泄漏时间线。与会话结束时消失的临时数据不同,记忆会无限期持续。六个月前在对话中提到的一条敏感信息可能今天仍然被存储、可检索和可影响。这意味着记忆泄漏的脆弱窗口不受会话持续时间的限制,而是受记忆整个生命周期的限制。
解决记忆泄漏的困难因记忆通常是派生数据——从原始对话中提取和压缩——而加剧。这使得传统的数据丢失防护(DLP)工具无效,因为它们无法识别提取、重新表述形式中的敏感信息。
访问控制漏洞
AI 记忆的访问控制比传统数据访问控制复杂得多,大多数实现都不够充分。
第一个漏洞是粒度。传统访问控制在资源级别运作——用户可以或不可以访问文件、数据库表或 API 端点。AI 记忆需要事实级别的访问控制。用户可能有权知道客户存在,但无权知道他们的购买历史。支持人员可能可以看到偏好记忆但不能看到财务记忆。这种事实级别的粒度在当前 AI 记忆系统中很少实现。
第二个漏洞是上下文敏感性。同一记忆在一个上下文中可能适合共享,但在另一个上下文中不适合。用户的饮食限制在 AI 推荐餐厅时是相关的,但在讨论保险政策时不应浮现。上下文敏感的访问控制要求记忆系统不仅理解谁在请求记忆,还要理解为什么以及在什么上下文中。
第三个漏洞是时间访问控制。某些记忆只应在有限时间内可访问。为特定咨询共享的医疗信息不应永久可用。当员工离开组织时,就业信息应被撤销。有时间限制的访问控制在物理安全中是熟悉的概念,但很少应用于 AI 记忆。
第四个漏洞是委托和继承。在组织环境中,当经理离开时,他们的继任者是否应继承访问其前任积累的记忆?当 AI 代理被委托一项任务时,什么记忆应该随委托转移?这些问题在当前 AI 记忆架构中没有标准答案。
这些漏洞造成了一种情况,大多数 AI 记忆系统实际上是全有或全无的:要么您可以访问整个记忆存储,要么什么都不能访问。这相当于一栋只有一把万能钥匙而没有单独锁的建筑——功能性的,但根本不安全。
存储问题
您的 AI 记忆物理上存储在哪里?这个问题的答案有深远的安全影响,对大多数组织来说,答案令人担忧。
许多 AI 记忆实现以纯文本形式将记忆存储在标准数据库中——PostgreSQL、MongoDB、Redis 或类似的。这些数据库可能对人类用户有强大的访问控制,但 AI 系统本身有广泛的读写访问权限。一个被攻破的 AI 应用程序令牌就能授予对整个记忆存储的访问。
云托管的 AI 服务通常将记忆存储在提供商的基础设施中。当您使用具有记忆功能的托管 AI 服务时,您用户的记忆可能存储在您无法控制的服务器上、您无法指定的区域中、受您无法审计的访问策略约束。这不仅引发安全问题,还涉及数据主权和监管合规。
越来越多用于语义记忆检索的向量数据库引入了自己的安全挑战。记忆的向量嵌入可以被反向——部分或完全——重建原始文本。泄露的向量数据库不仅仅是不透明数字的泄露;它是以略微混淆的形式泄露底层信息。
备份和副本加剧了存储问题。记忆数据库和所有数据库一样需要备份。这些备份通常以不同的(通常更弱的)安全控制存储。用于读取扩展的副本可能在不同的安全区域。每一份记忆数据的副本都是潜在的攻击向量。
正确的记忆存储架构必须解决所有这些问题:静态和传输中的加密、存储层的细粒度访问控制、数据驻留控制、备份安全,以及能够通过密码学验证存储的记忆未被篡改。
三方加密
三方加密是专门为 AI 记忆系统设计的安全架构,其中涉及三个不同的参与方:拥有数据的用户、运营 AI 的组织和记忆基础设施提供商。
在三方加密方案中,没有任何单方面能够单独读取记忆数据。用户持有加密其个人记忆的密钥。组织持有加密组织上下文的密钥。基础设施提供商持有管理加密基础设施的密钥。读取记忆需要至少两个参与方之间的合作,确保没有单点破坏会暴露数据。
这种架构受到加密货币托管和核武器发射授权中使用的秘密共享方案的启发。正如没有单个人可以发射核武器一样,没有单个参与方可以在没有另一方参与的情况下访问 AI 记忆。
实际实现涉及分层加密。用户特定的记忆用从用户身份派生的密钥加密,只有组织和用户可以重建。组织记忆用组织和基础设施提供商持有的密钥加密。跨越用户和组织的交叉记忆使用需要所有三方元素的复合密钥。
三方加密提供了几个安全保证。基础设施提供商无法读取客户数据(防御提供商级别的内部威胁)。组织无法在没有基础设施中介的情况下访问记忆(防止未授权的批量访问)。用户有密码学保证,他们的记忆在没有其隐式参与的情况下无法被读取。
MemoryLake 将三方加密作为其核心安全架构的一部分实现。每个记忆事实在离开客户端之前都被加密,在 API 层用组织密钥重新加密,并以需要两个密钥才能解密的格式存储。基础设施提供商维护加密编排但从不同时持有两个密钥。
AES-256 与端到端安全
AES-256(使用 256 位密钥的高级加密标准)是全球政府、金融机构和安全关键应用使用的加密标准。它是 AI 记忆加密的最低可接受标准。
在端到端加密的记忆系统中,数据在创建点(从对话中提取记忆事实时)加密,并在存储、检索和交付过程中保持加密。明文记忆只在端点——提取管道和消费管道——可访问,在传输中或基础设施中的静态状态下永远不可访问。
AI 记忆的端到端加密比消息传递(如 Signal)更具挑战性,因为记忆系统需要对数据执行操作——索引检索、去重、冲突检测——这些传统上需要访问明文。几种先进的密码学技术使这成为可能。
同态加密允许在不解密的情况下对加密数据进行有限计算。虽然完全同态加密在计算上仍然昂贵,但部分同态方案可以支持记忆管理所需的特定操作——比较、聚合和模式匹配——达到实用的性能水平。
可搜索加密使记忆系统能够根据查询找到相关记忆,而无需看到明文内容。用户或组织提供加密搜索令牌,系统可以将其与加密记忆索引匹配。系统返回只有授权方才能解密的加密结果。
零知识证明可以验证记忆的属性而不泄露记忆本身。例如,系统可以证明记忆由授权来源创建、自创建以来未被修改,并与特定查询匹配——所有这些都不向基础设施提供商暴露记忆内容。
这些密码学技术共同创建了一个 AI 记忆系统,其中基础设施提供商作为盲目的保管人运作——管理、组织和服务记忆,却永远无法读取它们。
零知识架构
零知识架构将端到端加密推向其逻辑结论:记忆基础设施提供商对其存储和服务的数据具有零知识。这是 AI 记忆安全的黄金标准。
在零知识系统中,提供商无法看到记忆内容,无法看到记忆元数据(谁创建了什么、何时),无法看到查询模式(谁在查找什么),也无法看到访问模式(谁访问了什么、何时)。提供商只能看到加密的数据块和加密的操作。
这种架构防御最严重的威胁场景。如果提供商的基础设施被完全攻破,攻击者获得的是在计算上不可行解密的加密数据。如果政府向提供商发出传票,提供商真正无法以可读形式提供请求的数据——他们没有密钥。
零知识架构的权衡主要在性能和功能方面。一些在明文访问时微不足道的操作——如去重、冲突检测和分析——在零知识设置中需要更复杂的密码学协议。这些协议增加延迟,通常每次操作 10 到 50 毫秒,对于大多数记忆用例是可接受的,但对于需要亚毫秒响应的实时应用可能太慢。
MemoryLake 为具有最高安全要求的组织提供零知识模式作为选项。在此模式下,所有记忆操作都使用加密搜索和计算执行,MemoryLake 基础设施可证明对明文数据零访问。组织可以通过独立的密码学审计验证此声明。
合规框架
AI 记忆安全不存在于监管真空中。组织必须证明符合多个重叠的框架,这些框架越来越多地涉及 AI 特定的关注。理解 AI 记忆如何映射到这些框架对任何企业部署都至关重要。
挑战在于大多数合规框架是在 AI 记忆作为概念存在之前设计的。它们涉及数据存储、数据处理和数据传输——但 AI 记忆模糊了这些类别之间的界限。从对话中提取的记忆事实同时是存储数据、处理数据(它已从原始对话转换为结构化事实),以及可能的传输数据(如果它跨越组织边界)。
这种模糊性意味着合规团队必须在 AI 记忆的上下文中解释现有框架,通常缺乏监管机构的明确指导。主动解决这个问题的组织——建立明确的 AI 记忆分类、保护和治理策略——将比等待执法行动来澄清规则的组织更好。
在以下部分中,我们检查最相关的合规框架如何适用于 AI 记忆以及组织必须满足的具体要求。
ISO 27001 与 SOC 2
ISO 27001 是信息安全管理系统(ISMS)的国际标准。对于 AI 记忆系统,ISO 27001 合规要求将记忆存储视为信息资产,应用标准的风险评估方法论,并在多个领域实施控制。
资产管理(A.8)要求将所有 AI 记忆存储识别为信息资产,按敏感度分类记忆,并建立所有权。这意味着每个记忆数据库、向量存储、备份和副本都必须被清点和分类。
访问控制(A.9)要求为记忆访问实施最小权限原则,确保 AI 系统、人类操作员和自动化管道只访问其特定功能所需的记忆。这直接映射到前面讨论的事实级别访问控制。
密码学(A.10)要求静态和传输中的记忆加密、密钥管理程序,以及与数据敏感性成比例的密码学控制。AES-256 满足加密要求;密钥管理要求需要强大的密钥轮换、托管和恢复程序。
SOC 2(服务组织控制 2)是北美企业客户最常要求的信任服务框架。SOC 2 Type II 认证要求证明安全控制在一段时间内有效运作,而不仅仅是它们存在。
对于 AI 记忆,SOC 2 的信任服务标准映射如下。安全性要求记忆系统受到防止未授权访问的保护。可用性要求记忆在需要时可靠可访问。处理完整性要求记忆提取、存储和检索正确且完整地运作。保密性要求分类为机密的记忆按承诺受到保护。隐私要求记忆中的个人信息按照组织的隐私承诺被收集、使用、保留和处置。
MemoryLake 维护 ISO 27001 认证和 SOC 2 Type II 合规,并为 AI 记忆操作记录了特定控制。使用 MemoryLake 的组织可以继承这些认证,显著减少在企业环境中部署 AI 记忆的合规负担。
GDPR 和 CCPA 要求
GDPR(通用数据保护条例)和 CCPA(加州消费者隐私法案)对存储个人信息的 AI 记忆系统施加了特定义务。
根据 GDPR,包含个人数据的 AI 记忆必须有处理的合法基础(第 6 条)。同意、合同必要性或合法利益是 AI 记忆最常见的基础。组织必须确定并记录其维护的每个记忆类别的合法基础。
访问权(第 15 条)要求组织向个人提供关于他们所持有的所有个人数据的副本,包括 AI 记忆。这意味着记忆系统必须能够以人类可读的格式导出关于特定个人的所有记忆。
删除权(第 17 条)——"被遗忘权"——要求组织在收到请求时删除关于个人的所有个人数据,除非法律要求保留。在 AI 记忆系统中,这特别具有挑战性,因为记忆可能是互联的。删除一个事实可能需要更新或删除依赖事实。记忆系统必须支持带有完整溯源追踪的级联删除。
数据最小化(第 5 条)要求只收集和存储必要的数据。对于 AI 记忆,这意味着提取管道不应存储每次对话的每个细节——只存储 AI 功能所需的事实。不必要的记忆必须被识别和清除。
CCPA 赋予加州居民知情权(第 1798.100 条)、删除权(第 1798.105 条)和选择退出个人信息出售权(第 1798.120 条)。跨组织边界共享的 AI 记忆在 CCPA 下可能构成个人信息的"出售",需要明确的选择加入同意。
GDPR 和 CCPA 都要求在第三方处理个人数据时签订数据处理协议(DPA)。使用外部 AI 记忆基础设施的组织必须确保其 DPA 特别涵盖 AI 记忆操作,包括提取、存储、检索和删除。
AI 记忆的威胁建模
有效的安全需要系统性的威胁建模。适用于 AI 记忆的 STRIDE 框架提供了对威胁态势的全面视角。
欺骗:攻击者冒充合法用户或系统来创建、修改或访问记忆。缓解措施需要在每个记忆访问点实施强认证,包括 API 密钥、双向 TLS 和自动化系统的密码学身份验证。
篡改:攻击者修改存储的记忆以影响 AI 行为。缓解措施需要对每个记忆事实进行密码学完整性验证(数字签名或哈希链),确保任何修改都可被检测。我们在配套文章中描述的溯源系统为篡改检测提供了基础。
否认:行为者否认创建或修改了记忆。缓解措施需要对所有记忆操作进行不可否认的日志记录,带有无法伪造的密码学签名。这就是溯源和安全交汇的地方——每个记忆操作既是溯源事件又是安全事件。
信息泄露:记忆被暴露给未授权方。缓解措施需要如上所述的端到端加密、事实级别访问控制和零知识架构。
拒绝服务:记忆系统变得不可用,导致 AI 应用失败或降级。缓解措施需要冗余存储、速率限制和优雅降级机制,使 AI 系统即使在记忆系统不可用时也能(以降低的质量)运行。
权限提升:攻击者获得比授权更广泛的记忆访问。缓解措施需要最小权限原则、定期访问审查和自动异常检测,标记不寻常的记忆访问模式。
纵深防御
没有单一的安全措施对 AI 记忆来说是足够的。纵深防御方法叠加多层控制,使任何单层的失败不会危及整个系统。
最外层是网络安全。记忆 API 应只能通过专用网络或认证网关访问。绝不应允许公共互联网访问记忆存储,即使是合法客户端也不行。
应用层实施认证、授权和输入验证。每个记忆操作必须被认证(谁在发出请求?)、授权(他们是否被允许发出此请求?)和验证(请求是否格式正确且在预期参数范围内?)。
数据层实施加密、完整性验证和访问日志记录。每个记忆事实在静态时加密、签名以保证完整性,每次访问都记录完整上下文。
基础设施层实施物理安全、网络分段和隔离。记忆存储应在专用、隔离的基础设施段中,在基础设施级别没有共享租户。
监控层提供实时检测和警报。异常模式——记忆操作的不寻常量、来自意外来源的访问、对高敏感度记忆的修改——触发自动化警报,在某些情况下触发自动化响应操作。
每一层独立运作,意味着一层的突破被其他层包含。攻破应用层的攻击者仍然面临数据层的加密。绕过网络安全的攻击者仍然面临应用层的认证。这种分层方法极大地增加了成功攻击的成本和复杂性。
记忆计算和外部数据摄入的安全风险
对其内容进行计算的记忆系统——执行冲突检测、时间推理、多跳推理和模式综合——引入了被动存储系统不面临的安全维度。计算推理可以揭示比派生它们的原始数据更多关于用户的信息。一个从职业相关问题的模式、更新简历的提及和日程冲突中推断"该用户可能在面试求职"的系统,综合了一个没有任何单次交互会揭示的敏感结论。如果记忆存储被攻破,计算推理代表比原始对话日志更高价值的目标,因为它们是预分析的且可操作的。
这意味着计算记忆需要与原始记忆同等或更强的安全控制。访问控制策略必须考虑推理敏感性——被授权查看用户个别偏好的团队成员可能未被授权查看这些偏好集体揭示的综合行为画像。加密必须覆盖计算输出,而不仅仅是存储的输入。审计日志必须跟踪对哪些数据执行了哪些计算,为派生知识创建完整的监管链。
外部数据摄入引入了自己的安全风险类别。当记忆系统从网络搜索、文档上传、第三方 API 或实时数据源拉取数据时,每个外部来源都是潜在的数据投毒向量。被攻破的 API 可能将虚假事实注入记忆图谱。恶意制作的文档上传可能嵌入旨在操纵系统行为的信息。网络搜索结果可能被 SEO 投毒以影响记忆系统学到的内容。每个外部数据源必须被视为不受信任,直到经过验证,具有输入清理、来源验证、置信度评分和可疑数据隔离机制。
MemoryLake 解决了两种风险。计算推理以与原始记忆相同的级别进行加密和访问控制,具有考虑推理放大的敏感性分类。外部数据通过包括来源验证、内容清理、异常检测和溯源标记的验证管道,然后才进入记忆图谱。系统应用的原则是:外部数据只有在通过与保护对话记忆投毒相同的安全检查后,才能丰富记忆。
构建安全的记忆系统
构建安全的 AI 记忆系统需要安全成为一等架构关注,而不是事后添加的功能。以下原则应指导每一个设计决策。
默认加密一切。在授权计算上下文之外,系统中不应有记忆数据以明文存在的路径。静态加密、传输加密和加密计算应该是默认的,而不是例外。
在事实级别实施最小权限。每个组件、用户和自动化系统应只能访问其功能所需的特定记忆。记忆系统应默认拒绝,并对每次访问要求明确授权。
不可变地记录一切。每个记忆操作——创建、读取、更新、删除、共享——应记录在不可修改或删除的追加式审计日志中,即使是系统管理员也不行。这个日志是安全监控和合规审计的基础。
假设已被突破并相应规划。设计系统使任何单个组件的突破不会暴露整个记忆存储。按敏感度、用户和组织对记忆进行分区。实施密码学控制以限制任何单个密钥突破的影响范围。
自动化安全测试。记忆安全应持续测试,而不仅仅在部署时。自动化渗透测试、提取管道的模糊测试和定期访问控制审计应成为持续运营过程的一部分。
MemoryLake 将这些原则嵌入其架构中。安全不是一个模块或配置选项——它是整个系统围绕其构建的基本设计约束。每个记忆操作,从提取到检索,都通过执行加密、访问控制和审计日志记录的安全控制。
结论
AI 记忆的安全是现代 AI 部署中最未充分解决的漏洞。随着 AI 系统积累更多知识、做出更多自主决策和处理更敏感的信息,记忆层成为对攻击者越来越有吸引力的目标和日益关键的合规关注。
记忆投毒、数据泄露和访问控制漏洞不是理论威胁——它们是大多数 AI 记忆实现中的当今漏洞。解决它们需要专门构建的安全架构:三方加密、AES-256 端到端安全、零知识基础设施和每一层的纵深防御。
包括 ISO 27001、SOC 2、GDPR 和 CCPA 在内的合规框架都对 AI 记忆系统施加了特定要求。主动解决这些要求的组织将比等待监管执法强迫其行动的组织更好。
问题不是您的 AI 记忆是否需要安全。它们需要。问题是您会通过设计实施安全,还是在泄露后被迫补救。经济学压倒性地支持前者。从一开始就内置安全。