MemoryLake
엔지니어링 및 개발자A/B 테스트 에이전트 기억 전략

에이전트 기억 전략에 대한 실제 A/B 테스트 실행 — 감정 비교가 아닙니다

반사 기억이 효과가 있는지, 더 긴 보존이 도움이 되는지, 다른 검색 전략이 더 나은 성과를 내는지 알고 싶습니다. 통제된 실험이 없으면 모든 결정은 감정입니다. MemoryLake는 A/B 테스트를 위한 분기 기억을 제공합니다 — 동일한 사용자, 다른 기억 전략, 측정 가능한 결과.

Day 1“반사 기억이 효과가 있는지, 더 긴 보존이 도움이 되는지, 다른”“검색 전략이 더 나은 성과를 내는지 알고 싶습니다.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded코호트별 분기 기억코호트별 검색 규칙기억 차이를 통한 결과 귀속SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

에이전트 기억 전략에 대한 실제 A/B 테스트 실행 — 감정 비교가 아닙니다

무료로 시작하기

영구 무료 · 신용카드 불필요

문제: 에이전트 기억 결정은 보통 증거가 없습니다

보존을 늘려야 할까요? 검색 순위를 변경해야 할까요? 반사 기억을 추가해야 할까요? 대부분의 팀은 모든 사용자에게 변경 사항을 배포하고 최선을 바랍니다. 통제 그룹이 없으면 실제 측정이 불가능합니다.

MemoryLake가 기억 A/B 테스트를 가능하게 하는 방법

코호트별 분기 기억

코호트별 분기 기억

코호트 A는 전략 1을 사용하고, 코호트 B는 전략 2를 사용합니다; 나머지 사용자들은 동일합니다.

MEMORY코호트별 검색 규칙

코호트별 검색 규칙

코호트별로 다른 기억 유형, 보존 또는 순위.

MEMORY기억 차이를 통한 결과 귀속

기억 차이를 통한 결과 귀속

코호트 간의 변화를 측정합니다.

승리한 분기를 메인으로 승격

승리한 분기를 메인으로 승격

전체 감사와 함께 승자를 배포합니다.

무료로 시작하기

영구 무료 · 신용카드 불필요

기억 A/B 테스트가 작동하는 방법

  1. 연결 — 작업 공간에서 코호트를 정의합니다.
  2. 구조화 — 각 코호트는 다른 규칙을 가진 기억 분기를 사용합니다.
  3. 재사용 — 코호트별 에이전트 결과를 측정하고 승리한 분기를 병합합니다.

전후: 에이전트 기억 전략 결정

DIY memoryMemoryLake
Comparing memory strategiesVibesReal A/B test
Per-cohort memory rulesHardNative branches
Outcome attributionLimitedMemory diff
Rollout of winning strategyManual migrationMerge branch

대상

증거 기반의 기억 전략 결정을 원하는 제품 및 엔지니어링 팀을 위한 것입니다. "우리는 시도했고 더 나아졌습니다" 대신에.

실행 가능한 데모약 5분

이 사용 사례를 내 계정에서 직접 실행하기

릴리스 어시스턴트를 위한 네 가지 메모리 전략을 A/B 테스트하고, 같은 답변을 두 가지 방식으로 채점합니다. 플랫폼 팀의 스탠드업 네 번에서 조건이 붙은 결정 여덟 개가 나왔고, 그중 세 개(스테이징 리허설, 클라이언트 앱 마이그레이션, 비용 검토)는 이후 아무도 언급하지 않아 결과가 어느 쪽으로도 메모리에 없습니다. 어시스턴트는 자주 "No, 스테이징 리허설은 통과하지 못했습니다"라고 답합니다. 결론은 맞지만 그 이유는 아무도 기록하지 않았습니다. 결론만 보는 채점기는 이를 정답으로 세고, 근거를 보는 채점기는 세지 않으며, 두 채점기는 서로 다른 승자를 고릅니다.

보게 될 것

  • GROUP 대화 네 개를 차례로 넣고, 추출된 사실을 두 브랜치로 복사합니다(fact list → fact add). 그래서 각 그룹은 테스트하는 전략만 다릅니다. router chat --boundary로 Yes / No / Unknown으로 시작하는 질문 여덟 개에 각 3번씩, 네 그룹으로 답변
  • 6번 실행에서 앱이 작성한 조건 점검("충족되었다는 기록이 없음")은 결론을 모두 맞혔지만(138 / 138), 근거가 있는 답은 93 / 138뿐이었습니다. 기한이 지난 세 조건에서 모델은 "기록 없음"을 "리허설은 통과하지 못했다"로 54번 중 45번 바꿔 썼습니다
  • 신중한 시스템 프롬프트: 결론 118 / 130, 근거 94 / 130. 기한이 지난 세 점검만 "어느 쪽으로도 기록되지 않음. 일어났다고도, 일어나지 않았다고도 말하지 말 것"으로 바꾸면 결론 138 / 138, 근거 138 / 138
  • 근거 채점기는 "…라는 기록이 없다" 같은 표현과 다시 말한 조건을 걷어낸 뒤, 그 그룹의 메모리에 없는 결과에 대한 주장을 찾습니다. 채점 전에 작성해 둔 사례로 검증합니다. memory·ask 서브커맨드와 로컬 웹 UI 포함

필요한 것: MemoryLake API 키 · memorylake CLI · Python 3.9+

실행

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/no-record-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

실행 영상 보기 · 실제 녹화, 편집 없음

관련 사용 사례

자주 묻는 질문

통계적 유의성 도구?

기억 차이는 표준 A/B 분석 프레임워크와 통합됩니다.

코호트 크기?

구성 가능; 점진적 배포를 지원합니다.

자체 호스팅?

예 — 엔터프라이즈 계층은 귀하의 VPC에 배포됩니다.