生産スケールでエージェント記憶コストを10-100倍削減
生産エージェントコストは、モデルコールと記憶基盤の2つの要素でスケールします。両方とも、チームがプロンプトに履歴を詰め込むと膨れ上がります。MemoryLakeは、詰め込まれた履歴をコンパクトな構造化取得に置き換えることで、記憶駆動の推論コストをスケールで10-100倍削減します。
問題: エージェントコストは使用量よりも早くスケールする
1ヶ月の履歴を持つユーザーは、新しいユーザーを提供するコストの5倍かかります。6ヶ月目には25倍になります。詰め込まれた履歴からのトークン膨張は使用量と線形に増加しますが、非線形のコスト成長を引き起こします。
MemoryLakeがエージェント記憶コストを最適化する方法
詰め込まれた履歴よりもコンパクトな取得
数百トークンの関連する記憶を引き出し、数万の履歴を避けます。
型付き記憶は要約チェーンに勝る
より低いトークンコストでより正確です。
プロンプトキャッシュ互換性
取得したブロックはキャッシュ可能なシステムメッセージにスロットします。
階層化された保持
高速取得のホット記憶; 安価にアーカイブされたコールド記憶。
永続無料 · クレジットカード不要
コスト最適化されたエージェント記憶の仕組み
- 接続 — 履歴の詰め込みをMemoryLakeの取得に置き換えます。
- 構造化 — 記憶は適切な保持階層で型付けされます。
- 再利用 — 各ターンの取得はトークン予算に基づいたブロックを引き出します。
前後: エージェント記憶コストのスケーリング
| Stuffed history | MemoryLake | |
|---|---|---|
| Token cost per long-history call | 30K+ | <2K |
| Prompt cache hit rate | Drops with history | Maintained |
| Cost per user-month | Inflates | Flat |
| Storage cost at scale | High | Tiered |
対象者
エージェントアプリのユーザーあたりのコストがユーザーあたりの収益よりも早く成長しているエンジニアリングリーダー — 制限ではなく構造的な修正を探している。
このユースケースを自分のアカウントで試す
Tessavane Freight のサポートアシスタントは、毎回のリクエストに同じ約 1,300 トークンの対応マニュアルと、質問した顧客についての記憶を付けて送ります。1 回の実行で 12 問を、4 通りのプロンプトの組み立て方で送ります:チケット履歴を先頭に貼る、memorylake search の上位 5 件をマニュアルの前に置く、同じ事実をマニュアルの後ろに置く、マニュアルだけを送って MemoryRouter に記憶を付けさせる。プロバイダの cached_tokens は MemoryRouter 経由でそのまま返ります。6 回の実行で、記憶を前に置いた場合と後ろに置いた場合は 72/72 問で送信トークン数が完全に同じ、正答率も同じでしたが、後ろに置くと 70/72 回プロンプトキャッシュから読まれ、前に置くと数分前に送った完全に同じリクエストの繰り返しでしかヒットしませんでした(新しいリクエストでは 0/58)。アカウント自身の router models の価格表で計算すると、100 万回あたり 202 対 134 USD、MemoryRouter は 130 USD。
見られるもの
- 同じ記憶で 4 通りのプロンプト:履歴を先頭に貼る、
memorylake search --top-k 5をマニュアルの前、同じブロックを後ろ、memorylake router chat --boundaryでマニュアルのみ - 毎回の呼び出しでプロバイダの
usage.prompt_tokens_details.cached_tokensを表示し、memorylake router models(input、cache_read、output)で価格を計算。gpt-4o-mini はキャッシュ済みトークンが半額 - 各プロンプトの先頭をローカルに記録してヒットの理由を表示:記憶を前に置くと、数分前に同じ質問で同じ事実が取れたときだけヒットする
ask <n>は 1 問を 4 通りで 2 回ずつ送り、factsは顧客ごとの記憶を一覧表示。ローカルの Web UI もあります
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/prompt-cache-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
コスト削減の一般的な範囲は?
コスト削減の一般的な範囲は?
トークンコストで10-100倍; 使用ケースによって異なります。
ストレージコストの透明性は?
ストレージコストの透明性は?
ボリュームベースで階層化された保持価格設定。
セルフホストは?
セルフホストは?
はい — エンタープライズ層はあなたのVPCにデプロイします。