모든 프롬프트에 에이전트 기록을 포함시켜 토큰 비용 증가 방지
생산 에이전트 앱은 빠르게 같은 함정에 빠집니다: 대화 기록을 모든 프롬프트에 포함시키면 사용량보다 토큰 비용과 지연이 더 빨리 증가합니다. MemoryLake는 현재 작업에 맞춰 간결한 기억 블록을 검색합니다 — 동일한 회상, 토큰의 일부.
문제: 토큰 비용은 포함된 기록에 따라 증가
세 달의 에이전트 기록을 가진 사용자는 200K 토큰의 컨텍스트를 가지고 있습니다. 이를 모든 호출에 포함시키면 매 턴마다 추론 비용과 지연이 증가합니다. 요약 기억으로 전환하면 충실도가 떨어집니다. 정답은 포함이나 요약이 아닌 구조화된 검색입니다.
MemoryLake가 토큰 증가를 줄이는 방법
토큰 예산 기반 검색
현재 작업에 관련된 기억만을 검색하며, 예산에 맞춰 크기를 조정합니다.
타입화된 기억이 평면 기록보다 우수
사실, 사건 또는 기술을 검색합니다 — 원시 전사본이 아닙니다.
포함보다 10,000배 더 효율적
수백만 개의 토큰 기록을 밀리초 단위의 검색으로 압축합니다.
프롬프트 캐싱 호환
검색된 블록은 캐시 가능한 시스템 메시지에 삽입됩니다.
영구 무료 · 신용카드 불필요
토큰 효율적인 에이전트 기억을 위한 작동 방식
- 연결 — 프롬프트 구성 시 기록 포함을 MemoryLake 검색으로 대체합니다.
- 구조화 — 타입화된 기억에 매 턴마다 기록합니다.
- 재사용 — 프롬프트당 토큰 예산 기반 기억 블록을 검색합니다.
이전 vs. 이후: 토큰 사용
| Stuffed history | MemoryLake retrieval | |
|---|---|---|
| Token cost per long-history call | 30K+ | <2K |
| Latency from giant prompt | Slow first token | Fast |
| Memory of months-old context | Truncated or summarized | Retrievable |
| Prompt cache hit rate | Drops | Maintained |
이것이 필요한 사람
사용자 수보다 토큰 비용이 더 빠르게 증가하는 생산 에이전트 앱을 운영하는 엔지니어링 팀 — 요약 기억으로 전환하는 것이 품질 문제로 인해 고려되었지만 거부된 경우.
이 사용 사례를 내 계정에서 직접 실행하기
Tolland Hollow Brewing의 구매 어시스턴트는 구매 책임자와 하나의 긴 스레드로 일합니다. 7~9월의 10번 세션에서 홉 계약, 맥아 납품 요일, 지연 납품 크레딧, 유리병 견적, CO2 계정, 라벨 승인자, 분기 승인 한도가 정해졌습니다. 오늘의 16턴 세션을 세 가지 방식으로 실행합니다: 매 요청에 스레드 전체를 보내기, 최근 6턴만 남기기(비용 때문에 흔히 쓰는 해결책), 같은 6턴에 MemoryRouter가 MemoryLake이 추출한 기억을 붙이기. 5번 실행에서 윈도만 남긴 방식은 이전 합의를 묻는 35개 질문 중 0개를 맞혔고(24번 "기록 없음", 11번 지어낸 값), 윈도가 요청마다 바뀌기 때문에 캐시된 토큰은 50턴 중 47턴에서 1,024토큰 시스템 프롬프트에 머물렀습니다. 스레드 전체는 34/35를 맞혔고 약 92%가 프롬프트 캐시에서 읽혔으며, 윈도+기억은 35/35를 맞혔으며, 스레드 전체의 세션당 비용은 그 1.5배였습니다.
보게 될 것
- 지난 10번의 세션을 대화로 MemoryLake에 넣고(
conv create,conv msg append --timestamp), 답하기 전에 오늘 필요한 값이 모두 추출되었는지 하나씩 확인합니다 - 턴마다 세 가지 프롬프트: 스레드 전체, 최근 6턴, 최근 6턴 +
memorylake router chat --boundary. 7개 턴은 몇 주 전 합의를 묻고 ✓ / 기록 없음 / 지어냄으로 채점합니다 - 매 호출마다 프로바이더의
usage.prompt_tokens_details.cached_tokens를 출력하고memorylake router models로 가격을 계산합니다: 스레드는 끝에서만 자라 계속 캐시되고, 윈도는 시스템 프롬프트를 넘지 못합니다 facts는 MemoryLake이 추출한 사실을 보여 주고,ask "<질문>"은 새 턴 하나를 세 방식으로 보내며, 요청마다 캐시 막대를 보여 주는 로컬 웹 UI도 있습니다
필요한 것: MemoryLake API 키 · memorylake CLI · Python 3.9+
실행
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/history-window-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
실행 영상 보기 · 실제 녹화, 편집 없음
관련 사용 사례
자주 묻는 질문
검색이 중요한 컨텍스트를 놓치나요?
검색이 중요한 컨텍스트를 놓치나요?
LoCoMo 벤치마크 #1에서 긴 기간 회상에 대해 94.03% 정확도로 최고 등급의 구조화된 검색입니다.
비용 비교는?
비용 비교는?
일반적으로 긴 기록 규모에서 10-100배 비용 절감이 가능합니다.
자체 호스팅이 가능한가요?
자체 호스팅이 가능한가요?
네 — 엔터프라이즈 계층은 귀하의 VPC에 배포됩니다.