MemoryLake
엔지니어링 및 개발자비용 최적화된 에이전트 기억 대규모 운영

생산 규모에서 에이전트 기억 비용을 10-100배 절감하세요

생산 에이전트 비용은 두 가지에 따라 증가합니다: 모델 호출 및 기억 인프라. 팀이 프롬프트에 이력을 채워 넣으면 두 가지 모두 증가합니다. MemoryLake는 채워 넣은 이력을 압축된 구조화된 검색으로 대체하여 기억 기반 추론 비용을 대규모에서 10-100배 절감합니다.

Day 1“생산 에이전트 비용은 두 가지에 따라 증가합니다: 모델 호출 및”“기억 인프라.”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded채워 넣은 이력보다 압축된 검색타입화된 기억이 요약 체인보다 우수함프롬프트 캐시 호환성SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

생산 규모에서 에이전트 기억 비용을 10-100배 절감하세요

무료로 시작하기

영구 무료 · 신용카드 불필요

문제: 에이전트 비용이 사용량보다 더 빠르게 증가함

한 달의 이력을 가진 사용자는 새로운 사용자를 제공하는 비용의 5배입니다. 여섯 번째 달에는 25배로 증가합니다. 채워 넣은 이력에서 발생하는 토큰 부풀림은 사용량에 따라 선형적으로 증가하지만 비선형적인 비용 성장을 초래합니다.

MemoryLake가 에이전트 기억 비용을 최적화하는 방법

채워 넣은 이력보다 압축된 검색

채워 넣은 이력보다 압축된 검색

수천 개의 이력 대신 몇 백 개의 관련 기억 토큰을 가져옵니다.

MEMORY타입화된 기억이 요약 체인…

타입화된 기억이 요약 체인보다 우수함

더 낮은 토큰 비용으로 더 정확합니다.

MEMORY프롬프트 캐시 호환성

프롬프트 캐시 호환성

검색된 블록이 캐시 가능한 시스템 메시지에 삽입됩니다.

계층화된 보존

계층화된 보존

빠른 검색을 위한 핫 기억; 저렴하게 아카이브된 콜드 기억.

무료로 시작하기

영구 무료 · 신용카드 불필요

비용 최적화된 에이전트 기억을 위한 작동 방식

  1. 연결 — 기억 채워 넣기를 MemoryLake 검색으로 대체합니다.
  2. 구조화 — 적절한 보존 계층에서 타입화된 기억을 기록합니다.
  3. 재사용 — 턴별 검색이 토큰 예산에 맞는 블록을 가져옵니다.

이전 vs. 이후: 에이전트 기억 비용 증가

Stuffed historyMemoryLake
Token cost per long-history call30K+<2K
Prompt cache hit rateDrops with historyMaintained
Cost per user-monthInflatesFlat
Storage cost at scaleHighTiered

대상

사용자당 에이전트 앱 비용이 사용자당 수익보다 더 빠르게 증가하는 엔지니어링 리더 — 구조적 해결책을 찾고 있으며, 제한이 아닌.

실행 가능한 데모약 3분

이 사용 사례를 내 계정에서 직접 실행하기

Tessavane Freight의 고객 지원 어시스턴트는 매 요청마다 같은 약 1,300토큰짜리 처리 매뉴얼과, 질문한 고객에 대해 기억하는 내용을 함께 보냅니다. 실행마다 12개 질문을 네 가지 프롬프트 구성으로 보냅니다: 티켓 기록을 맨 앞에 붙이기, memorylake search 상위 5개 사실을 매뉴얼 앞에 두기, 같은 사실을 매뉴얼 뒤에 두기, 매뉴얼만 보내고 MemoryRouter가 기억을 붙이기. 프로바이더의 cached_tokens는 MemoryRouter를 거쳐 그대로 돌아옵니다. 6번 실행에서 기억을 앞에 둔 경우와 뒤에 둔 경우는 72/72개 질문에서 보낸 토큰 수가 정확히 같고 정확도도 같았지만, 뒤에 두면 70/72번 프롬프트 캐시에서 읽혔고, 앞에 두면 몇 분 전에 보낸 똑같은 요청을 반복할 때만 적중했습니다(새 요청에서는 0/58). 계정 자체의 router models 가격표로 계산하면 100만 회 호출당 202 대 134 USD, MemoryRouter는 130 USD입니다.

보게 될 것

  • 같은 기억으로 네 가지 프롬프트: 기록을 맨 앞에 붙이기, memorylake search --top-k 5를 매뉴얼 앞에, 같은 블록을 뒤에, memorylake router chat --boundary로 매뉴얼만
  • 매 호출마다 프로바이더의 usage.prompt_tokens_details.cached_tokens를 출력하고 memorylake router models(input, cache_read, output)로 가격을 계산합니다. gpt-4o-mini는 캐시된 토큰이 반값입니다
  • 각 프롬프트의 시작 부분을 로컬에 기록해 적중 이유를 표시합니다: 기억을 앞에 두면 몇 분 전 같은 질문이 같은 사실을 가져왔을 때만 적중합니다
  • ask <n>은 질문 하나를 네 가지 방식으로 두 번씩 보내고, facts는 고객별 기억을 보여 주며, 로컬 웹 UI도 있습니다

필요한 것: MemoryLake API 키 · memorylake CLI · Python 3.9+

실행

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/prompt-cache-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

실행 영상 보기 · 실제 녹화, 편집 없음

관련 사용 사례

자주 묻는 질문

비용 절감의 일반적인 범위는?

토큰 비용에서 10-100배; 사용 사례에 따라 다름.

저장 비용 투명성은?

계층화된 보존 가격으로 볼륨 기반.

자체 호스팅?

예 — 엔터프라이즈 계층이 귀하의 VPC에 배포됩니다.