모든 재시작을 초월하는 기억을 LLM 애플리케이션에 제공하세요

어제 당신의 역할을 배운 챗봇이 오늘은 그것을 기억하지 못합니다. 월요일에 200페이지를 처리한 연구 보조자가 화요일에는 빈 상태로 시작합니다. 개발자들은 벡터 저장소, 요약 버퍼 및 계속 증가하는 시스템 프롬프트로 이를 패치하지만, 이들 중 어느 것도 모델 교체나 스키마 변경을 견디지 못합니다. 그 결과는 취약한 UX와 증가하는 토큰 비용입니다.

모든 세션에서 상태 유지되는 컨텍스트 — 사용자 신원, 목표 및 이전 작업이 구조화된 기억으로 저장되고 다음 프롬프트에 자동으로 주입됩니다. 더 이상 "우리가 무엇을 하고 있었는지 상기시켜 주세요"가 필요 없습니다.

기본 제공되는 여섯 가지 기억 유형 — 배경, 사실, 사건, 대화, 반성 및 기술 기억은 사용자가 말한 것뿐만 아니라 그들이 중요하게 여기는 것과 작업 방식을 캡처할 수 있게 해줍니다.

모델 간 이식성 — GPT-4에서 Claude로, 또는 Gemini로 앱을 전환해도 사용자 이력을 단 한 바이트도 잃지 않습니다. 기억 여권은 모델이 아닌 사용자와 함께 이동합니다.

원시 컨텍스트 스터핑 대비 10,000배 확장성 — 수백만 개의 토큰을 밀리초 검색 기억으로 압축합니다. LoCoMo 벤치마크 #1에서 장기 기억 회상에서 94.03% 정확도를 기록했습니다.

1. 연결 — Python SDK, MCP 서버 또는 REST API를 추가하세요. 모든 사용자 턴과 문서 업로드를 MemoryLake로 파이프합니다.
2. 구조화 — MemoryLake는 각 컨텍스트 조각을 여섯 가지 기억 유형 중 하나로 분류하고 이전 사실에 대한 충돌을 해결합니다.
3. 재사용 — 추론 시 기억을 쿼리합니다. 모델 창에 맞게 크기가 조정된 압축된 순위의 컨텍스트 블록을 반환받습니다.

LLM 기반 제품을 출시하는 창립자 및 엔지니어 — 코파일럿, 연구 보조자, 에이전트, 챗봇, 수직 SaaS — 세션, 모델 업그레이드 및 가격 책정 계층 변경을 생존하기 위해 사용자 상태가 필요한 분들. 특히 사용자가 각 계정에 수시간의 컨텍스트를 투자하는 B2B 애플리케이션에 특히 관련이 있습니다.