エージェント履歴をすべてのプロンプトに詰め込むことでトークンコストを膨らませない
プロダクションエージェントアプリは、会話履歴をすべてのプロンプトに詰め込むという同じ罠をすぐに発見します。これにより、トークンコストとレイテンシが使用量よりも早く上昇します。MemoryLakeは、現在のタスクにスコープを持つコンパクトな記憶ブロックを取得します — 同じリコールで、トークンの一部です。
問題: 詰め込まれた履歴に伴うトークンコストのスケール
3か月のエージェント履歴を持つユーザーは、200Kトークンのコンテキストを持っています。これをすべての呼び出しに詰め込むと、すべてのターンで推論コストとレイテンシが膨張します。要約記憶に切り替えると忠実度が失われます。正しい答えは、詰め込みや要約ではなく、構造化された取得です。
MemoryLakeがトークンの膨張を減らす方法
トークン予算に基づく取得
現在のタスクに関連する記憶のみを取得し、予算に合わせてサイズを調整します。
型付き記憶はフラットな履歴に勝る
生のトランスクリプトではなく、事実、イベント、またはスキルを取得します。
詰め込みに対して10,000倍のスケール
数百万のトークンの履歴をミリ秒単位の取得に圧縮します。
プロンプトキャッシュとの互換性
取得したブロックはキャッシュ可能なシステムメッセージにスロットします。
永続無料 · クレジットカード不要
トークン効率の良いエージェント記憶の仕組み
- 接続 — プロンプト構築時に履歴の詰め込みをMemoryLakeの取得に置き換えます。
- 構造化 — 型付き記憶へのターンごとの書き込み。
- 再利用 — 各プロンプトごとにトークン予算に基づく記憶ブロックを取得します。
前後の比較: トークン使用量
| Stuffed history | MemoryLake retrieval | |
|---|---|---|
| Token cost per long-history call | 30K+ | <2K |
| Latency from giant prompt | Slow first token | Fast |
| Memory of months-old context | Truncated or summarized | Retrievable |
| Prompt cache hit rate | Drops | Maintained |
対象者
トークンコストがユーザー数よりも早くスケールしているプロダクションエージェントアプリを運営しているエンジニアリングチーム — 要約記憶への切り替えが品質上の理由で検討されたが却下された場合。
このユースケースを自分のアカウントで試す
Tolland Hollow Brewing の購買アシスタントは購買責任者と 1 本の長いスレッドでやり取りしています。7〜9 月の 10 回のセッションで、ホップ契約、麦芽の納品曜日、遅延時のクレジット、ガラス瓶の見積もり、CO2 のアカウント、ラベル承認者、四半期の承認上限が決まりました。今日の 16 ターンのセッションを 3 通りで実行します:毎回スレッド全体を送る、直近 6 ターンだけを残す(請求額対策の定番)、同じ 6 ターンに MemoryRouter が MemoryLake の抽出した記憶を付ける。5 回の実行で、ウィンドウだけの方式は以前の取り決めを問う 35 問に 1 問も正しく答えられず(24 回は「記録なし」、11 回は値を作り上げた)、ウィンドウが毎回変わるため、キャッシュは 50 ターン中 47 ターンで 1,024 トークンのシステムプロンプトに留まりました。スレッド全体は 34/35 正解で約 92% がプロンプトキャッシュから読まれ、ウィンドウ+記憶は 35/35 正解で、スレッド全体の 1 セッションあたりのコストはその 1.5 倍でした。
見られるもの
- 過去 10 回のセッションを会話として MemoryLake に登録し(
conv create、conv msg append --timestamp)、回答の前に今日必要な値がすべて抽出されたかを 1 つずつ確認 - 1 ターンごとに 3 通りのプロンプト:スレッド全体、直近 6 ターン、直近 6 ターン+
memorylake router chat --boundary。7 ターンは数週間前の取り決めを問い、✓ / 記録なし / 作り話 で採点 - 毎回の呼び出しでプロバイダの
usage.prompt_tokens_details.cached_tokensを表示し、memorylake router modelsで価格を計算:スレッドは末尾だけが伸びてキャッシュされ続け、ウィンドウはシステムプロンプトから先に進まない factsは MemoryLake が抽出した事実を一覧表示し、ask "<質問>"は新しい 1 ターンを 3 通りで送ります。リクエストごとのキャッシュバーを表示するローカル Web UI もあります
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/history-window-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
取得は重要なコンテキストを見逃しますか?
取得は重要なコンテキストを見逃しますか?
LoCoMoベンチマーク#1で94.03%の精度を持つ長期リコール — トップランクの構造化取得。
コスト比較は?
コスト比較は?
通常、長い履歴スケールで10-100倍のコスト削減。
セルフホストは可能ですか?
セルフホストは可能ですか?
はい — エンタープライズティアはあなたのVPCにデプロイされます。