MemoryLake
エンジニアリング & 開発者コスト最適化されたエージェント記憶のスケール

生産スケールでエージェント記憶コストを10-100倍削減

生産エージェントコストは、モデルコールと記憶基盤の2つの要素でスケールします。両方とも、チームがプロンプトに履歴を詰め込むと膨れ上がります。MemoryLakeは、詰め込まれた履歴をコンパクトな構造化取得に置き換えることで、記憶駆動の推論コストをスケールで10-100倍削減します。

Day 1“生産エージェントコストは、モデルコールと記憶基盤の2つの要素でスケールします。両方とも、チームがプロンプトに履歴を詰め込むと膨れ上がります。MemoryLakeは、詰め込まれた履歴をコンパクトな構造化取得に置き換えること”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded詰め込まれた履歴よりもコンパクトな取得型付き記憶は要約チェーンに勝るプロンプトキャッシュ互換性SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

生産スケールでエージェント記憶コストを10-100倍削減

無料で始める

永続無料 · クレジットカード不要

問題: エージェントコストは使用量よりも早くスケールする

1ヶ月の履歴を持つユーザーは、新しいユーザーを提供するコストの5倍かかります。6ヶ月目には25倍になります。詰め込まれた履歴からのトークン膨張は使用量と線形に増加しますが、非線形のコスト成長を引き起こします。

MemoryLakeがエージェント記憶コストを最適化する方法

詰め込まれた履歴よりもコンパクトな取得

詰め込まれた履歴よりもコンパクトな取得

数百トークンの関連する記憶を引き出し、数万の履歴を避けます。

MEMORY型付き記憶は要約チェー…

型付き記憶は要約チェーンに勝る

より低いトークンコストでより正確です。

MEMORYプロンプトキャッシュ互換性

プロンプトキャッシュ互換性

取得したブロックはキャッシュ可能なシステムメッセージにスロットします。

階層化された保持

階層化された保持

高速取得のホット記憶; 安価にアーカイブされたコールド記憶。

無料で始める

永続無料 · クレジットカード不要

コスト最適化されたエージェント記憶の仕組み

  1. 接続 — 履歴の詰め込みをMemoryLakeの取得に置き換えます。
  2. 構造化 — 記憶は適切な保持階層で型付けされます。
  3. 再利用 — 各ターンの取得はトークン予算に基づいたブロックを引き出します。

前後: エージェント記憶コストのスケーリング

Stuffed historyMemoryLake
Token cost per long-history call30K+<2K
Prompt cache hit rateDrops with historyMaintained
Cost per user-monthInflatesFlat
Storage cost at scaleHighTiered

対象者

エージェントアプリのユーザーあたりのコストがユーザーあたりの収益よりも早く成長しているエンジニアリングリーダー — 制限ではなく構造的な修正を探している。

実行できるデモ約 3 分

このユースケースを自分のアカウントで試す

Tessavane Freight のサポートアシスタントは、毎回のリクエストに同じ約 1,300 トークンの対応マニュアルと、質問した顧客についての記憶を付けて送ります。1 回の実行で 12 問を、4 通りのプロンプトの組み立て方で送ります:チケット履歴を先頭に貼る、memorylake search の上位 5 件をマニュアルの前に置く、同じ事実をマニュアルの後ろに置く、マニュアルだけを送って MemoryRouter に記憶を付けさせる。プロバイダの cached_tokens は MemoryRouter 経由でそのまま返ります。6 回の実行で、記憶を前に置いた場合と後ろに置いた場合は 72/72 問で送信トークン数が完全に同じ、正答率も同じでしたが、後ろに置くと 70/72 回プロンプトキャッシュから読まれ、前に置くと数分前に送った完全に同じリクエストの繰り返しでしかヒットしませんでした(新しいリクエストでは 0/58)。アカウント自身の router models の価格表で計算すると、100 万回あたり 202 対 134 USD、MemoryRouter は 130 USD。

見られるもの

  • 同じ記憶で 4 通りのプロンプト:履歴を先頭に貼る、memorylake search --top-k 5 をマニュアルの前、同じブロックを後ろ、memorylake router chat --boundary でマニュアルのみ
  • 毎回の呼び出しでプロバイダの usage.prompt_tokens_details.cached_tokens を表示し、memorylake router models(input、cache_read、output)で価格を計算。gpt-4o-mini はキャッシュ済みトークンが半額
  • 各プロンプトの先頭をローカルに記録してヒットの理由を表示:記憶を前に置くと、数分前に同じ質問で同じ事実が取れたときだけヒットする
  • ask <n> は 1 問を 4 通りで 2 回ずつ送り、facts は顧客ごとの記憶を一覧表示。ローカルの Web UI もあります

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/prompt-cache-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

コスト削減の一般的な範囲は?

トークンコストで10-100倍; 使用ケースによって異なります。

ストレージコストの透明性は?

ボリュームベースで階層化された保持価格設定。

セルフホストは?

はい — エンタープライズ層はあなたのVPCにデプロイします。