검증이 위임 가능한 업무량을 결정하는 이유
포스트는 다음과 같은 핵심 문구로 시작합니다. "검증 루프는 Claude에게 더 많은 일을 위임할 수 있게 해주는 빌딩 블록입니다." 검증 루프가 없다면 모든 것을 직접 확인해야 하므로 한 번에 한두 개의 Claude만 실행할 수 있다고 설명합니다.
또한 비용에 대해서도 언급합니다. 과거에는 테스트, 벤치마크, 사양을 작성하는 데 비용이 많이 들었습니다. 이제는 에이전트가 이를 생성할 수 있으며, 한 번 작성되면 소프트웨어로 실행되므로 추가적인 토큰 소모 없이 자주 실행할 수 있습니다.
검증을 memory와 연결하는 부분이 다음에 나옵니다. 포스트는 "결과를 사용하여 해당 작업에 대한 에이전트의 성능을 개선함으로써" 루프를 닫을 수 있다고 말합니다. 예시로, 에이전트가 사용자 데이터 로그를 확인하는 테스트에서 반복적으로 실패한다면, "향후 문제를 피하기 위해 CLAUDE.md에 훅(hook)이나 더 명시적인 규칙을 만들 수 있습니다."
이것이 아래 모든 내용의 주제입니다. 검증 결과는 한 번 유용하지만, 기록된 규칙으로 변환된 검증 결과는 그 이후 매번 유용합니다.
팀이 권장하는 세 가지 테스트 유형
포스트는 투자할 가치가 있는 세 가지 테스트 유형을 제시하고, 왜 각 유형이 에이전트를 속이기 어려운지 설명합니다.
End-to-end 테스트. "하나의 테스트 유형에 집중해야 한다면 End-to-end를 선택하세요." 이는 실제 사용자 흐름을 설명하며, 기능 전체가 작동하거나 작동하지 않거나 둘 중 하나입니다.
Property 테스트. 실패할 수 없다고 생각하는 문장을 작성하면, 라이브러리가 수천 개의 입력을 생성하여 그렇지 않음을 증명하려고 시도합니다. 포스트의 예시로는 라운드 트립 인코딩, 불변성(invariants), 멱등성(idempotency), 동등성 등이 있습니다. 핵심은 코드를 작성한 에이전트와 동일한 편향으로 만들어지지 않은 에지 케이스를 사용하는 것입니다.
Differential 테스트. 동일한 입력에 대해 이전 시스템과 새 시스템을 실행합니다. 결과가 다르면 버그가 있거나 하위 호환성이 깨진 변경이 있는 것입니다. 이는 동작이 동일하게 유지되어야 하는 마이그레이션에 적합합니다.
또한 피해야 할 두 가지 실패 모드도 언급합니다. 불안정한(Flaky) 테스트는 에이전트가 코드를 수정하는 대신 테스트를 재실행하도록 학습시킵니다. 느린 테스트는 실행 횟수를 줄여 문제 지점을 찾기 어렵게 만듭니다.
/verify가 하는 일과 저장하는 내용
팀의 첫 번째 규칙은 앱을 실행하는 것이 테스트보다 중요하다는 것입니다. "시뮬레이터에서 시도해보지 않고 iOS 변경 사항을 배포하지 않듯이, Claude도 마찬가지입니다."
이를 반복 가능하게 만들기 위해, 포스트는 저장소의 .claude/skills/ 폴더에 "관련 코드와 최대한 가까운 곳에 verify라는 스킬을 생성하라"고 조언합니다. 또한 Claude는 변경 사항을 커밋하기 전에 verify 스킬을 사용해야 함을 알고 있다고 덧붙입니다.
Claude Code는 번들로 제공되는 /verify도 포함하고 있습니다. 스킬 문서에서는 이를 "테스트나 타입 체크에 의존하지 않고, 코드 변경이 의도한 대로 작동하는지 확인하기 위해 앱을 빌드하고 실행하는 방법"이라고 설명합니다. 프로젝트 유형과 README, package.json, Makefile 같은 파일로부터 프로젝트 실행 방법을 추론하므로 설정 없이도 작동합니다. 문서는 이 추론의 한계에 대해 솔직하게 밝힙니다. "데이터베이스, 환경 변수 파일, 그래픽 세션, 다단계 빌드 등 표준 실행 이상의 것이 필요한 프로젝트에서는 추론이 신뢰할 수 없게 됩니다." 바로 이런 프로젝트에서 단계를 기록해 두는 것이 빛을 발합니다.
memory와 관련된 부분은 성공적인 실행 후에 일어나는 일입니다. 문서에 따르면, "/verify는 자체 레시피를 기록할 수도 있습니다." 기록된 레시피 없이 앱을 빌드하고 구동해야 할 때, "나중에 실행하거나 다른 에이전트가 동일한 단계를 따를 수 있도록 성공한 내용을 저장소 루트의 .claude/skills/verify/SKILL.md 또는 모노레포의 해당 패키지 디렉토리에 작성합니다."
이는 작고 구체적인 형태의 학습입니다. 첫 번째 성공적인 실행에서 실행 단계를 파악하고, 이후의 모든 실행은 이를 재발견하는 대신 그대로 따릅니다. 두 가지 세부 사항이 더 중요합니다.
- 기록된 스킬이 우선권을 가집니다. "저장소 루트에서 기록된 스킬은 번들로 제공되는
/verify를 대체합니다." - 불필요한 변경을 일으키지 않습니다. "Claude는 명령 실패나 누락된 단계와 같이 실행이 잘못되었을 때만 기록된 파일을 편집하므로, 세션별 diff 없이 파일을 커밋할 수 있습니다."
관련된 번들 스킬인 /run-skill-generator는 의도적으로 레시피를 기록합니다. 문서에 따르면, 이 스킬은 깨끗한 환경에서 앱을 실행하고 설치 명령, 환경 변수, 실행 스크립트를 캡처하여 프로젝트별 스킬로 커밋합니다. 그 후 저장소의 /run, /verify 및 기타 에이전트들은 이를 따릅니다. 유지 관리에 대한 문서의 조언은 다음과 같습니다. "프로젝트당 한 번 /run-skill-generator를 실행하고, 빌드나 실행 프로세스가 변경되면 다시 실행하세요."
Claude가 커밋 전 verify 스킬을 실행하는 시점
문서에는 한 가지 요소가 더 설명되어 있습니다. "verify 또는 simplify라는 이름의 스킬이 있는 상태에서 세션이 시작되면, Claude Code의 커밋 지침은 문서나 테스트 변경을 제외하고 각 커밋 직전에 이를 실행하도록 Claude에게 지시합니다." 이 기능은 Claude Code v2.1.286 이상 버전이 필요합니다.
조건은 구체적입니다. 스킬은 지원되는 위치에서 로드되어야 하며, 저장소 루트에 /verify가 기록한 레시피도 여기에 해당합니다. 번들 /verify 및 /simplify, 플러그인 스킬, claude.ai 계정의 스킬은 해당되지 않습니다. 또한 Claude가 스킬을 호출할 수 있어야 하며, 내장된 git 지침이 켜져 있어야 합니다.
따라서 레시피를 기록하는 것은 두 가지 일을 동시에 수행합니다. 실행 단계를 저장하고, Claude Code에 verify라는 이름의 프로젝트 스킬을 제공하여 각 커밋 전에 Claude가 수행할 작업을 변경합니다.
체크리스트: 과거의 각 장애에 대한 트리거
이 부분은 포스트에서 memory와 가장 직접적으로 관련된 부분입니다.
"우리는 39개의 항목으로 구성된 신뢰성 체크리스트를 유지하며, 각 항목에는 diff에서 읽을 수 있는 트리거, 확인 사항, 그리고 그 뒤에 숨겨진 장애 사례나 PR이 포함되어 있습니다."
각 항목은 세 부분으로 나뉩니다.
- 트리거: diff에서 읽을 수 있어 Claude가 해당 항목을 적용할지 판단할 수 있게 합니다.
- 확인 사항: 트리거가 일치할 때 실행할 체크 내용입니다.
- 배경이 되는 장애 사례나 PR: 규칙과 함께 그 이유가 기록됩니다.
포스트의 예시는 "--resume이 이전 트랜스크립트를 로드함"입니다. 세션 스토리지나 메시지 유형이 변경될 때, 팀은 이전 트랜스크립트에는 해당 필드가 없을 것이므로 새 필드가 안전하게 로드되는지 확인합니다.
그리고 핵심 문장이 나옵니다. "Claude는 diff를 읽고 트리거가 일치하는 항목(보통 3~10개)만 확인하므로, 아무도 과거의 장애를 암기할 필요가 없습니다."
두 가지 설계 선택이 돋보입니다. 체크리스트는 모든 변경 사항에 대해 산더미 같은 알림으로 로드되지 않습니다. 트리거가 일치하는 항목만 확인됩니다. 그리고 모든 항목은 히스토리를 담고 있어, 이를 작성한 사람이 떠난 후에도 규칙이 이해 가능한 상태로 유지됩니다.
이것이 서두의 예시에 나온 장애 노트와 체크리스트 항목의 차이입니다. 노트는 누군가 기억해내는 것에 의존했습니다. 체크리스트 항목은 diff가 동일한 영역을 건드릴 때 자동으로 작동합니다.
서로를 보완하는 리뷰 라운드
포스트는 동일한 방식으로 작동하는 두 번째 습관을 설명합니다. "우리는 모든 것을 처음부터 다시 확인하는 대신, 이전 라운드의 context와 과거의 실패 사례를 각 단계의 참고 자료로 활용합니다. 이 방식이 더 저렴하고 더 많은 것을 찾아냅니다."
또한 팀은 리뷰어의 수를 늘리는 대신 리뷰어의 집중력을 유지하는 데 주력합니다. 더 비싼 두 번째 리뷰어를 추가하는 대신, 해당 코드에 대해 리뷰어가 주의 깊게 살펴봐야 할 내용을 담은 REVIEW.md를 유지합니다.
이 파일은 자신이 판단하는 변경 사항으로부터 보호됩니다. "변경 사항이 자신을 판단하는 체크 항목을 수정할 수 있다면, 그 체크는 깨진 것입니다." 포스트는 Code Review가 항상 베이스 브랜치나 기본 브랜치에서 REVIEW.md를 읽으며, 풀 리퀘스트의 변경 사항에서는 절대 읽지 않는다고 설명합니다.
팀 프로세스의 몇 가지 다른 규칙도 동일한 논리를 따릅니다.
- 반복 실패 시 에스컬레이션. Claude는 체크를 실행하고 실패한 부분을 수정하려고 시도합니다. "세 라운드 후에도 체크가 계속 실패하면 Claude는 중단하고 사람을 개입시킵니다."
- 이유 명시. 체크가 리뷰어를 호출할 때, 리뷰어가 diff에서 이유를 직접 찾아낼 필요가 없도록 그 이유를 설명해야 합니다.
- 움직이는 타겟이 아닌 커밋을 리뷰. "오래된 커밋에 대한 통과 리뷰는 아무런 의미가 없습니다."
- 저렴한 체크부터 실행. Claude는 풀 리퀘스트를 열기 전에 테스트, 빌드, 린터를 실행합니다. 포스트는 Claude가 작업을 마쳤을 때 테스트를 실행하는 훅을 통해 이를 강제할 수 있다고 말합니다. 훅이 무엇을 할 수 있고 어떤 훅이 Claude에게 context를 추가할 수 있는지는 Claude Code 훅이란 무엇인가 가이드에서 다루었습니다.
스탬프와 게이트: 각 커밋의 검증 방식 기록
팀은 커밋 자체에 검증 내용을 기록합니다. "우리의 저장소에서는 각 커밋에 어떻게 검증되었는지 스탬프를 찍습니다." 스탬프에 "none"이라고 표시할 수도 있어, 팀은 검증되지 않은 커밋을 쿼리하여 찾아낼 수 있습니다.
또한 세션에 /code-review나 /verify가 포함되지 않은 경우 커밋을 차단할 수 있는 커밋 게이트를 구축했으며, 여기에는 off, observe, enforce 모드가 있습니다. Observe 모드는 차단되었을 항목을 로그로 남겨 오탐(false positive)을 먼저 검토할 수 있게 합니다. Enforce 모드에서는 커밋 시 검증되지 않은 이유를 설명할 수 있으며, 한 세션에서 두 번 커밋이 차단된 후에는 "Claude가 갇히지 않도록" 다음 커밋이 통과됩니다.
이것들은 블로그 포스트에 설명된 팀 자체의 도구들입니다. 포스트는 스탬프나 게이트를 사용자가 바로 켤 수 있는 Claude Code의 기능으로 제시하지는 않습니다.
놓친 버그가 규칙이 되는 과정
포스트의 마지막 섹션은 실수를 memory로 바꾸는 방법에 관한 것입니다. Claude Code 저장소에서 팀은 두 가지 방법을 사용합니다.
첫 번째는 사람의 리뷰 코멘트와 PR 되돌리기(revert)에서 패턴을 추출하는 것입니다. 패턴이 규칙으로 고려되려면 "최소 두 개의 PR에서 발생해야 하며 diff에서 식별 가능해야" 합니다. 세 명의 에이전트가 이를 반박하려고 시도하고, 사람이 PR에서 이를 검토하고 승인합니다.
두 번째는 알려진 장애와 연결된 PR에 대해 세 개의 버그 탐지기를 재실행하는 것입니다. 최소 두 개가 버그를 찾아내면 탐지 가능한 것입니다. 작은 diff에서 버그를 놓쳤다면, 그것은 REVIEW.md에 규칙으로 만들 가치가 있는 공백입니다.
불안정한 테스트도 비슷하게 처리됩니다. Claude는 테스트를 건너뛰거나, sleep을 추가하거나, 통과할 때까지 재시도할 수 없습니다. 근본 원인을 찾을 수 없다면 "테스트를 삭제하고 그 이유를 기록합니다."
그리고 규칙 자체도 유지 관리가 필요합니다. "규칙도 청소가 필요합니다." 테스트 스위트, 검증 단계, .md 파일은 내버려 두면 계속 늘어나기만 하므로, 팀은 정기적으로 이를 정리합니다.
포스트의 마무리 조언은 이 모든 것을 하나로 묶습니다. 검증 레이어를 다른 시스템처럼 취급하고, "무언가를 놓쳤을 때 교훈을 기록하여 두 번 다시 발생하지 않도록 하고, 실행할 가치가 유지되도록 그 교훈들을 다듬으세요."
사람들이 흔히 먼저 시도하는 것
장애 노트를 작성하고 누군가 기억해주길 바라기. 팀의 체크리스트는 각 교훈을 diff의 트리거와 연결합니다.
두 번째 리뷰어 추가하기. 포스트는 REVIEW.md를 통해 기본 리뷰어를 튜닝하는 것을 선호합니다.
/verify가 매번 실행 방법을 재발견하게 두기. 레시피를 .claude/skills/verify/SKILL.md에 기록할 수 있습니다.
모든 실수를 규칙으로 만들기. 팀은 최소 두 개의 PR에서 나타나는 패턴, diff에서 읽을 수 있는 형태, 그리고 사람의 승인을 요구합니다.
모든 규칙을 영원히 유지하기. 규칙은 정기적으로 다듬어집니다.
해결책: 검증 결과를 다음 세션이 사용할 수 있는 것으로 바꾸기
1단계: 앱 실행 방법 기록
/run-skill-generator를 사용하거나 /verify가 레시피를 기록하게 한 뒤, 그 결과를 커밋하세요.
2단계: 각 교훈에 트리거 부여
버그가 배포되면, diff의 어떤 부분이 이를 트리거해야 하는지와 그 배경이 된 장애 사례를 포함하여 규칙을 작성하세요.
3단계: 규칙을 판단 대상인 변경 사항의 손이 닿지 않는 곳에 두기
리뷰 규칙을 리뷰 중인 변경 사항이 수정할 수 없는 위치에 두세요.
4단계: 규칙 뒤에 숨겨진 논리 기록
트리거는 규칙이 언제 적용되는지 알려줍니다. 그 뒤에 있는 결정과 원인이 된 장애 사례는 지속될 수 있는 보금자리가 필요합니다.
MemoryLake에서 설정하기
체크리스트 항목이 효과적인 이유는 히스토리를 담고 있기 때문입니다. 프로젝트 이면에 있는 결정들도 마찬가지입니다. 왜 특정 체크가 존재하는지, 어떤 접근 방식을 시도했다가 포기했는지, 장애를 통해 무엇을 배웠는지 등이 해당됩니다.
MemoryLake는 결정 사항, 장애 교훈, 규칙의 근거와 같은 프로젝트 context를 위한 memory 레이어입니다. 이를 한 곳에서 관리하고 ChatGPT, Claude Code, Codex 등 연결된 어시스턴트들이 사용할 수 있게 합니다.
사용자는 자신의 언어로 직접 항목을 작성합니다. 사용자의 스킬, REVIEW.md 또는 CLAUDE.md 파일, 세션, 커밋 또는 어떤 벤더의 저장소에서도 내용을 읽거나 쓰거나 삭제하지 않습니다. /verify와 Code Review는 Anthropic이 설명한 방식 그대로 작동합니다.
1단계: API 키 생성
로그인 후 대시보드에서 키를 생성합니다. 다른 자격 증명과 마찬가지로 저장소 외부에 보관하세요.

2단계: 첫 번째 memory 업로드
해결책의 4단계에서 작성한 내용부터 시작하세요. 규칙 뒤에 숨겨진 장애 사례와 각 사례에서 배운 점을 입력합니다. 항목당 하나의 교훈을 날짜와 함께 기록하세요.

3단계: AI 및 에이전트 연결
Claude Code와 사용하는 다른 어시스턴트들을 연결하세요. 새로운 세션이나 팀원의 어시스턴트도 동일한 교훈을 활용할 수 있습니다.

실무에서 바뀌는 점
첫 번째 차이점은 교훈이 그것을 배운 사람보다 더 오래 지속된다는 것입니다. 규칙의 이유가 기록되어 있기 때문입니다.
두 번째는 재발견의 감소입니다. 기록된 레시피와 결정 사항 모두 다음 세션이 이를 다시 파악하느라 고생하지 않게 해줍니다.
세 번째는 도구 간의 context 공유입니다. 동일한 프로젝트에서 작업하는 Codex나 다른 어시스턴트도 동일한 교훈을 사용할 수 있습니다.
Claude의 작업 검증을 위한 모범 사례
앱을 End-to-end로 실행하세요. 팀은 이것을 테스트보다 더 중요하게 여깁니다.
실행 레시피를 기록하세요. 작동이 확인되면 .claude/skills/verify/SKILL.md를 커밋하세요.
규칙에 트리거를 부여하세요. diff가 건드리는 부분만 확인하세요.
규칙에 히스토리를 첨부하세요. 각 항목과 함께 장애 사례나 PR을 유지하세요.
이전 라운드를 기반으로 구축하세요. 각 단계에서 과거의 실패 사례를 참고하게 하세요.
반복 실패 시 에스컬레이션하세요. 팀은 세 라운드 후에 사람을 개입시킵니다.
규칙을 다듬으세요. 규칙은 내버려 두면 늘어나기만 합니다.
결론
Claude Code 팀의 검증 프로세스는 테스트만큼이나 memory에 관한 것입니다. /verify는 성공한 단계를 .claude/skills/verify/SKILL.md에 기록하여 나중에 실행하거나 다른 에이전트가 이를 따를 수 있게 합니다. 팀의 신뢰성 체크리스트는 각 교훈에 트리거, 확인 사항, 배경 장애 사례를 부여하며, Claude는 diff와 일치하는 항목만 확인합니다. 리뷰 라운드는 과거의 실패를 참고하며, 놓친 버그는 반복 발생하고 사람의 승인을 거친 후에만 규칙이 됩니다.
공통된 핵심은 교훈이 다음 세션에서 찾을 수 있는 곳에 기록되어야 하며, 시간이 지나도 이해할 수 있을 만큼 충분한 히스토리를 담고 있어야 한다는 것입니다.