MemoryLake
엔지니어링 및 개발자에이전트 출력을 위한 기억 인식 평가

기억이 작동한 방식에 대한 완전한 가시성을 가지고 에이전트 출력을 평가하세요

에이전트 평가 프레임워크는 에이전트가 검색한 기억을 알지 못한 채 출력을 점수화합니다. 나쁜 출력은 나쁜 모델, 나쁜 프롬프트 또는 나쁜 기억을 의미할 수 있지만, 평가는 이를 알 수 없습니다. MemoryLake는 모든 출력을 사용된 기억에 연결하여 평가가 실제로 근본 원인을 식별하도록 합니다.

Day 1“에이전트 평가 프레임워크는 에이전트가 검색한 기억을 알지”“못한 채 출력을 점수화합니다.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded출력별 기억 출처좋은 출력과 나쁜 출력 간의 기억 차이고정된 기억 스냅샷에 대한 평가SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

기억이 작동한 방식에 대한 완전한 가시성을 가지고 에이전트 출력을 평가하세요

무료로 시작하기

영구 무료 · 신용카드 불필요

문제: 기억 맥락 없는 에이전트 평가의 맹점

평가 프레임워크는 12%의 출력을 저품질로 표시했습니다. 모델이 실패했는지, 프롬프트가 실패했는지, 검색된 기억이 실패했는지 알 수 없습니다. 평가마다 기억 맥락이 없으면 올바른 것을 수정하는 것은 추측입니다.

MemoryLake가 기억 인식 평가를 제공하는 방법

출력별 기억 출처

출력별 기억 출처

평가된 각 출력은 사용된 기억에 연결됩니다.

MEMORY좋은 출력과 나쁜 출력 간의…

좋은 출력과 나쁜 출력 간의 기억 차이

품질과 상관관계가 있는 기억 접근을 확인하세요.

MEMORY고정된 기억 스냅샷에 대한 평가

고정된 기억 스냅샷에 대한 평가

제어된 기억 상태로 테스트합니다.

기억 기반 평가 카테고리

기억 기반 평가 카테고리

검색 대 생성에 귀속되는 실패.

무료로 시작하기

영구 무료 · 신용카드 불필요

기억 인식 평가를 위한 작동 방식

  1. 연결 — MemoryLake를 평가 파이프라인에 연결하세요.
  2. 구조화 — 생성된 각 출력은 사용된 기억을 기록합니다.
  3. 재사용 — 평가 분석은 기억 검색 실패를 생성 실패와 별도로 보여줍니다.

전후 비교: 기억 인식이 있는 에이전트 평가

DIY memory + evalMemoryLake
Identify retrieval vs generation failuresHardBuilt in
Memory diff between cohortsManualSemantic
Eval against pinned memoryCustomSnapshots
Root cause attributionGuessworkDirect evidence

대상

올바른 것을 수정하기 위해 실패를 정확하게 귀속시켜야 하는 에이전트 평가 파이프라인을 운영하는 엔지니어링 팀 — 현재 평가는 기억을 블랙 박스로 취급합니다.

실행 가능한 데모약 3분

이 사용 사례를 내 계정에서 직접 실행하기

MemoryRouter 위의 고객지원 어시스턴트를 8개 질문으로 평가해 프롬프트 v2가 v1보다 나은지 판단합니다. 아무것도 바꾸지 않고 같은 호출을 세 번 실행하면 붙는 기억이 매번 달라져 채점이 뒤집히고, 「v1 → v2」 결론은 거의 매번 다르게 나옵니다. 질문마다 기억 스냅샷을 고정하면 기억이 움직이지 않습니다. 프롬프트의 실제 효과가 매번 드러나고, 모든 오답에 원인이 붙습니다.

보게 될 것

  • 프로젝트 하나에 고객지원 사실 60개, boundary 하나. 모든 평가 호출은 router chat --boundary(gpt-4o-mini, temperature 0)이며, 정답이 말해야 할 사실을 기준으로 채점
  • MemoryRouter를 통한 A/A: 동일한 호출 세 번에서 88개 문항-실행 중 71개가 서로 다른 양의 기억(prompt tokens)을 받았고 33개는 채점이 바뀌었습니다. 응답은 어떤 기억을 받았는지 알려주지 않습니다. 「v2가 망가뜨린 / 고친 문항」 목록은 11번 실행에서 10가지로 나왔습니다
  • 고정된 스냅샷: 질문마다 search --types fact --top-k 8를 한 번 실행해 id와 원문을 저장하고, 모든 프롬프트를 같은 스냅샷으로 실행(router chat --body, boundary 없음). 기억은 88/88 동일, A/A 뒤집힘 7/88(모델 자체의 노이즈), v2의 실제 퇴행(break-glass 단계 누락)은 11번 모두 검출
  • 스냅샷 기준의 오답은 모두 원인이 붙습니다: 채점에 필요한 사실이 스냅샷에 없음(검색 실패. 예: 「계정 자동 생성·삭제」로는 SCIM 사실이 검색되지 않음) 또는 있었지만 답이 빠뜨림(생성 실패). snapshot / replay 하위 명령과 로컬 웹 UI 포함

필요한 것: MemoryLake API 키 · memorylake CLI · Python 3.9+

실행

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/agent-eval-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

실행 영상 보기 · 실제 녹화, 편집 없음

관련 사용 사례

자주 묻는 질문

평가 프레임워크 통합?

RAGAS, OpenAI Evals, LangSmith, 맞춤형 — 모두 지원됩니다.

기억 기반 평가 카테고리?

검색 재현, 검색 정밀도, 충돌 표면화, 출처 정확성.

자체 호스팅?

예 — 엔터프라이즈 티어는 귀하의 VPC에 배포됩니다.