MemoryLake
エンジニア & 開発者エージェント履歴の詰め込みによるトークンの膨張を防ぐ

エージェント履歴をすべてのプロンプトに詰め込むことでトークンコストを膨らませない

プロダクションエージェントアプリは、会話履歴をすべてのプロンプトに詰め込むという同じ罠をすぐに発見します。これにより、トークンコストとレイテンシが使用量よりも早く上昇します。MemoryLakeは、現在のタスクにスコープを持つコンパクトな記憶ブロックを取得します — 同じリコールで、トークンの一部です。

Day 1“プロダクションエージェントアプリは、会話履歴をすべてのプロンプトに詰め込むという同じ罠をすぐに発見します。これにより、トークンコストとレイテンシが使用量よりも早く上昇します。MemoryLakeは、現在のタスクにスコープ”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loadedトークン予算に基づく取得型付き記憶はフラットな履歴に勝る詰め込みに対して10,000倍のスケールSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

エージェント履歴をすべてのプロンプトに詰め込むことでトークンコストを膨らませない

無料で始める

永続無料 · クレジットカード不要

問題: 詰め込まれた履歴に伴うトークンコストのスケール

3か月のエージェント履歴を持つユーザーは、200Kトークンのコンテキストを持っています。これをすべての呼び出しに詰め込むと、すべてのターンで推論コストとレイテンシが膨張します。要約記憶に切り替えると忠実度が失われます。正しい答えは、詰め込みや要約ではなく、構造化された取得です。

MemoryLakeがトークンの膨張を減らす方法

トークン予算に基づく取得

トークン予算に基づく取得

現在のタスクに関連する記憶のみを取得し、予算に合わせてサイズを調整します。

MEMORY型付き記憶はフラットな…

型付き記憶はフラットな履歴に勝る

生のトランスクリプトではなく、事実、イベント、またはスキルを取得します。

MEMORY詰め込みに対して10,000倍のスケール

詰め込みに対して10,000倍のスケール

数百万のトークンの履歴をミリ秒単位の取得に圧縮します。

プロンプトキャッシュとの互換性

プロンプトキャッシュとの互換性

取得したブロックはキャッシュ可能なシステムメッセージにスロットします。

無料で始める

永続無料 · クレジットカード不要

トークン効率の良いエージェント記憶の仕組み

  1. 接続 — プロンプト構築時に履歴の詰め込みをMemoryLakeの取得に置き換えます。
  2. 構造化 — 型付き記憶へのターンごとの書き込み。
  3. 再利用 — 各プロンプトごとにトークン予算に基づく記憶ブロックを取得します。

前後の比較: トークン使用量

Stuffed historyMemoryLake retrieval
Token cost per long-history call30K+<2K
Latency from giant promptSlow first tokenFast
Memory of months-old contextTruncated or summarizedRetrievable
Prompt cache hit rateDropsMaintained

対象者

トークンコストがユーザー数よりも早くスケールしているプロダクションエージェントアプリを運営しているエンジニアリングチーム — 要約記憶への切り替えが品質上の理由で検討されたが却下された場合。

実行できるデモ約 5 分

このユースケースを自分のアカウントで試す

Tolland Hollow Brewing の購買アシスタントは購買責任者と 1 本の長いスレッドでやり取りしています。7〜9 月の 10 回のセッションで、ホップ契約、麦芽の納品曜日、遅延時のクレジット、ガラス瓶の見積もり、CO2 のアカウント、ラベル承認者、四半期の承認上限が決まりました。今日の 16 ターンのセッションを 3 通りで実行します:毎回スレッド全体を送る、直近 6 ターンだけを残す(請求額対策の定番)、同じ 6 ターンに MemoryRouter が MemoryLake の抽出した記憶を付ける。5 回の実行で、ウィンドウだけの方式は以前の取り決めを問う 35 問に 1 問も正しく答えられず(24 回は「記録なし」、11 回は値を作り上げた)、ウィンドウが毎回変わるため、キャッシュは 50 ターン中 47 ターンで 1,024 トークンのシステムプロンプトに留まりました。スレッド全体は 34/35 正解で約 92% がプロンプトキャッシュから読まれ、ウィンドウ+記憶は 35/35 正解で、スレッド全体の 1 セッションあたりのコストはその 1.5 倍でした。

見られるもの

  • 過去 10 回のセッションを会話として MemoryLake に登録し(conv create、conv msg append --timestamp)、回答の前に今日必要な値がすべて抽出されたかを 1 つずつ確認
  • 1 ターンごとに 3 通りのプロンプト:スレッド全体、直近 6 ターン、直近 6 ターン+memorylake router chat --boundary。7 ターンは数週間前の取り決めを問い、✓ / 記録なし / 作り話 で採点
  • 毎回の呼び出しでプロバイダの usage.prompt_tokens_details.cached_tokens を表示し、memorylake router models で価格を計算:スレッドは末尾だけが伸びてキャッシュされ続け、ウィンドウはシステムプロンプトから先に進まない
  • facts は MemoryLake が抽出した事実を一覧表示し、ask "<質問>" は新しい 1 ターンを 3 通りで送ります。リクエストごとのキャッシュバーを表示するローカル Web UI もあります

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/history-window-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

取得は重要なコンテキストを見逃しますか?

LoCoMoベンチマーク#1で94.03%の精度を持つ長期リコール — トップランクの構造化取得。

コスト比較は?

通常、長い履歴スケールで10-100倍のコスト削減。

セルフホストは可能ですか?

はい — エンタープライズティアはあなたのVPCにデプロイされます。