为什么验证决定了你可以委派多少工作
文章开篇就指出了利害关系:“验证循环是让你能向 Claude 委派更多工作的基石。”文章称,如果没有这些循环,你一次只能运行一两个 Claude,因为你必须亲自检查所有内容。
它还提到了成本问题。过去,编写测试、基准测试和规范的成本很高。现在,智能体可以生成它们,而且一旦编写完成,它们就作为软件运行,因此可以频繁运行而无需消耗大量额外的 token。
接下来是将验证与记忆联系起来的部分。文章指出,你可以“通过使用结果来提高智能体在该任务上的表现”来闭合循环。其例子是:如果智能体反复在检查用户数据日志的测试中失败,“你可以在 CLAUDE.md 中创建一个钩子(hook)或更明确的规则,以避免未来的问题”。
这就是下文所有内容的主题。一次验证结果只有一次用处。而转化为记录规则的验证结果,在此之后的每一次都发挥作用。
团队推荐的三种测试类型
文章列举了三种值得投入的测试类型,并解释了为什么每种类型都很难被智能体蒙混过关。
端到端测试。 “如果你必须专注于一种测试类型,请选择端到端测试。”这些测试描述了真实的用户流程,要么整个功能正常工作,要么就不行。
属性测试。 你编写一个你认为不会失败的陈述,然后一个库会生成数千个输入试图证明事实并非如此。文章中的例子包括往返编码、不变性、幂等性和等效性。重点是使用那些并非由编写代码的智能体以相同偏见创建的边缘案例。
差异测试。 在相同的输入上运行旧系统和新系统。如果结果不同,则存在 Bug 或破坏性更改。这些适用于行为应保持不变的迁移工作。
它还指出了两种应避免的失败模式。不稳定的测试会训练智能体重新运行它们而不是修复代码。缓慢的测试意味着运行次数减少,这使得问题更难定位。
/verify 的作用及其保存的内容
团队的第一条规则是运行应用比测试更重要:“你不会在没用模拟器尝试的情况下就发布 iOS 更改,对 Claude 也是如此。”
为了使其可重复,文章建议在代码库的 .claude/skills/ 文件夹中“创建一个名为 verify 的技能”,“尽可能靠近相关代码”。它补充说,Claude 知道在提交更改之前使用 verify 技能。
Claude Code 还附带了一个捆绑的 /verify。技能文档将其描述为一种“构建并运行你的应用以确认代码更改是否按预期工作,而无需退而求其次使用测试或类型检查”的方法。它无需设置即可工作,通过从项目类型以及 README、package.json 或 Makefile 等文件中推断如何启动项目。文档坦诚地指出了这种推断的局限性:“对于需要标准启动之外的任何内容(数据库、环境文件、图形会话、多步构建)的项目,这种推断会变得不可靠。”这正是记录步骤能带来回报的项目类型。
记忆部分发生在成功运行之后。根据文档,“/verify 还可以记录它自己的方案(recipe)。”当它必须在没有记录方案的情况下构建和驱动你的应用时,“它会将有效的方法写入代码库根目录的 .claude/skills/verify/SKILL.md,或者单体仓库(monorepo)中受影响的包目录中,以便后续运行和其他智能体遵循相同的步骤。”
这是一种小而具体的学习。第一次成功运行找出了启动步骤。之后的每一次运行都遵循这些步骤,而不是重新探索。还有两个细节很重要:
- 记录的技能会接管。 “在代码库根目录,记录的技能会取代捆绑的
/verify。” - 它不会频繁变动。 “Claude 仅在运行出错时(例如命令失败或缺少步骤)才会编辑记录的文件,因此你可以提交该文件而不会产生逐会话的差异。”
一个相关的捆绑技能 /run-skill-generator 会刻意记录方案。文档称,它从干净的环境中启动你的应用,捕获安装命令、环境变量和启动脚本,并将它们作为每个项目的技能提交。之后,代码库中的 /run、/verify 和其他智能体都会遵循它。文档关于维护的建议是:“每个项目运行一次 /run-skill-generator,如果构建或启动过程发生变化,则再次运行。”
Claude 何时在提交前运行 verify 技能
文档描述了另一部分内容。“当会话开始时已有名为 verify 或 simplify 的技能就位,Claude Code 的提交指令会告诉 Claude 在每次提交前运行它,除非是针对文档或测试的更改。”这需要 Claude Code v2.1.286 或更高版本。
条件很具体。技能必须从受支持的位置加载,你在代码库根目录记录的 /verify 方案也算在内。捆绑的 /verify 和 /simplify、插件技能以及来自你的 claude.ai 账户的技能则不算。Claude 还必须能够调用该技能,并且内置的 git 指令必须处于开启状态。
因此,记录方案同时完成了两件事。它保存了启动步骤,并为 Claude Code 提供了一个名为 verify 的项目技能,这改变了 Claude 在每次提交前被告知要做的事情。
检查清单:为每个过去的故障设置触发器
这是文章中与记忆最直接相关的部分。
“我们维护着一份包含 39 个项目的可靠性检查清单,每个项目都有一个可以从差异中读取的触发器、一个检查项,以及背后的事故或 PR。”
每个项目包含三个部分:
- 触发器:可以从差异中读取,以便 Claude 判断该项目是否适用。
- 检查项:适用时运行的检查。
- 背后的事故或 PR:以便将原因与规则一起记录。
文章中的例子是“--resume 加载旧转录”。当会话存储或消息类型发生变化时,团队会询问新字段是否能安全加载,因为较旧的转录将不包含该字段。
然后是关键的一句话:“Claude 读取差异并仅检查触发器匹配的项目——通常是 3 到 10 个——这样就没人需要记住过去的故障了。”
两个设计选择非常突出。检查清单不会在每次更改时作为一堆提醒全部加载。只有触发器匹配的项目才会被检查。而且每个项目都带有其历史记录,因此在编写规则的人离开后,规则仍然易于理解。
这就是开篇例子中的事故备注与检查清单项目之间的区别。备注依赖于某人的记忆。而当差异触及相同区域时,检查清单项目就会触发。
相互构建的评审轮次
文章描述了第二个以同样方式运作的习惯:“我们将每一次传递都指向早期轮次和过去失败的上下文,而不是从头开始重新检查所有内容。这样成本更低,发现的问题更多。”
团队还让评审员保持专注,而不是增加更多评审员。它没有堆叠第二个更昂贵的评审员,而是维护一个 REVIEW.md,说明评审员在处理该代码时应注意什么。
该文件受到保护,不受其评判的更改影响。“如果一项更改可以修改评判它的检查,那么该检查就失效了。”文章称,代码评审(Code Review)从基础分支或默认分支读取 REVIEW.md,绝不从拉取请求(PR)的更改中读取。
团队流程中的其他几条规则也遵循相同的逻辑:
- 重复失败时升级。 Claude 运行检查并尝试修复失败的部分。“如果三轮后检查仍然失败,Claude 会停止并引入人工。”
- 说明原因。 当检查引入评审员时,它应该说明原因,这样他们就不必从差异中推敲。
- 评审提交,而非变动的目标。 “对过时提交的通过评审毫无意义。”
- 先运行廉价检查。 Claude 在开启拉取请求之前运行测试、构建和 linter。文章称,你可以通过一个在 Claude 完成时运行测试的钩子来强制执行此操作。我们在关于 什么是 Claude Code 钩子 的指南中介绍了钩子的作用,以及哪些钩子可以为 Claude 添加上下文。
标记与门控:记录每次提交是如何验证的
团队在提交本身记录验证情况。“在我们自己的代码库中,我们为每个提交打上它是如何被验证的标记。”标记可以是“无”,这样团队就可以查询未经验证的提交。
它还构建了一个提交门控,如果会话不包含 /code-review 或 /verify,则可以阻止提交,具有关闭(off)、观察(observe)和强制(enforce)模式。观察模式记录会被阻止的内容,以便先评审误报。在强制模式下,提交可以附带未经验证的原因说明,并且在会话中连续两个提交被阻止后,下一个提交将通过,“这样 Claude 就不会卡住”。
这些是团队自己的工具,在博客文章中进行了描述。文章并未将标记或门控作为你可以开启的 Claude Code 功能来介绍。
遗漏的 Bug 如何变成规则
文章的最后一部分是关于将遗漏转化为记忆。在 Claude Code 代码库中,团队使用了两种方法。
第一种是从人工评审评论和 PR 还原中提取模式。一个模式必须“在至少两个 PR 中出现,并且可以从差异中识别”,才能被考虑作为规则。三个智能体会尝试证伪它,然后由人工在 PR 中评审并批准它。
第二种是针对链接到已知事故的 PR 重新运行三个 Bug 查找器。如果至少有两个找到了 Bug,则该 Bug 是可检测的。如果 Bug 在微小的差异中被遗漏,那就是一个值得转化为 REVIEW.md 中规则的缺口。
不稳定的测试也会受到类似处理。Claude 不能跳过它们、添加等待(sleep)或重试直到通过。如果它找不到根本原因,“它会删除测试并记录原因”。
规则本身也需要维护:“规则也需要清理。”如果你任由其发展,测试套件、验证步骤和 .md 文件只会不断增加,因此团队会定期对它们进行整理。
文章的结尾建议将这一切联系在一起:像对待任何其他系统一样对待验证层,“当遗漏某些东西时记录教训,以免发生多次,并修剪这些教训,使它们保持运行价值”。
人们首先尝试的方法
写一条事故备注并希望有人记得。 团队的检查清单将每个教训与差异中的触发器关联起来。
增加第二个评审员。 文章倾向于使用 REVIEW.md 来调整主要评审员。
让 /verify 每次都重新探索启动过程。 它可以将方案记录到 .claude/skills/verify/SKILL.md。
将每一次遗漏都变成规则。 团队要求模式至少在两个 PR 中出现、可从差异中读取,并经过人工批准。
永远保留每一条规则。 规则会定期进行修剪。
解决方案:将验证结果转化为下个会话可以使用的内容
第 1 步:记录如何运行应用
使用 /run-skill-generator,或让 /verify 记录其方案,并提交结果。
第 2 步:为每个教训设置触发器
当 Bug 发布时,编写规则,说明差异中的什么内容应该触发它,以及背后的事故。
第 3 步:让规则远离它们所评判的更改
将评审规则放在受审更改无法编辑的地方。
第 4 步:记录规则背后的推理
触发器说明规则何时适用。其背后的决策以及导致它的事故需要一个持久的归宿。
在 MemoryLake 中设置
检查清单项目之所以有效,是因为它承载了其历史。项目背后的决策也是如此:为什么存在某项检查,尝试过并放弃了哪种方法,以及事故教会了你什么。
MemoryLake 是此类项目上下文(如决策、事故教训以及规则背后的原因)的记忆层,保存在你维护的一个地方,并可供你连接的助手(如 ChatGPT、Claude Code 和 Codex)使用。
你用自己的语言亲自编写条目。不会从你的技能、REVIEW.md 或 CLAUDE.md 文件、会话、提交或任何供应商的存储中读取、写入或删除任何内容。/verify 和代码评审的工作方式与 Anthropic 描述的一致。
第 1 步:创建 API 密钥
登录并从控制面板生成密钥。像对待任何其他凭据一样,将其存储在代码库之外。

第 2 步:上传你的第一批记忆
从你在解决方案第 4 步中编写的内容开始:规则背后的事故以及每个事故教会你的东西。每个条目一个教训,并附上日期。

第 3 步:连接你的 AI 和智能体
连接 Claude Code 和你使用的其他助手。新会话或队友的助手可以利用相同的教训。

这在实践中改变了什么
第一个区别是教训比学习它们的人更长久。规则的原因被记录了下来。
第二个是减少了重新探索。记录的方案和记录的决策都让下个会话无需再次推敲。
第三个是跨工具的共享上下文。在同一个项目上工作的 Codex 或其他助手可以使用相同的教训。
验证 Claude 工作的最佳实践
端到端运行应用。 团队认为这比测试更重要。
记录启动方案。 一旦运行成功,就提交 .claude/skills/verify/SKILL.md。
为规则设置触发器。 仅检查差异触及的内容。
为规则附加历史记录。 将事故或 PR 与每个项目保存在一起。
建立在早期轮次之上。 将每一次传递都指向过去的失败。
重复失败后升级。 团队在三轮后引入人工。
修剪你的规则。 如果你任由其发展,规则只会不断增加。
结论
Claude Code 团队的验证过程既关乎测试,也关乎记忆。/verify 可以将有效的步骤记录到 .claude/skills/verify/SKILL.md,以便后续运行和其他智能体遵循。团队的可靠性检查清单为每个教训提供了触发器、检查项和背后的事故,而 Claude 仅检查差异匹配的项目。评审轮次指向过去的失败,遗漏的 Bug 只有在重复出现并经过人工批准后才会变成规则。
共同的主题是,教训必须记录在下个会话能找到的地方,并带有足够的历史记录以保持易于理解。