MemoryLake
エンジニアリング & 開発者エージェントアプリのための記憶キャッシング戦略

正確性を損なうことなくエージェントの記憶ホットパスをキャッシュする

本番エージェントのホット記憶パスはキャッシングの恩恵を受けますが、単純なキャッシングは古い事実や不一致なエージェントの動作を生じさせます。MemoryLakeは正確性を保つ無効化セマンティクスを持つ組み込みのキャッシュ層を提供します。

Day 1“本番エージェントのホット記憶パスはキャッシングの恩恵を受けますが、単純なキャッシングは古い事実や不一致なエージェントの動作を生じさせます。MemoryLakeは正確性を保つ無効化セマンティクスを持つ組み込みのキャッシュ層を提供します。”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded自動キャッシュ無効化を伴う階層ストレージ読み取りおよび書き込みパターンテナントごとのキャッシュスコーピングSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

正確性を損なうことなくエージェントの記憶ホットパスをキャッシュする

無料で始める

永続無料 · クレジットカード不要

問題: エージェントの記憶におけるDIYキャッシュ層が古い事実を引き起こす

あなたは記憶ストアの上にRedisキャッシングを追加しました。レイテンシは改善されました。しかし、記憶が更新されたときにキャッシュが無効化されなかったため、エージェントは時々昨日の事実を返します。正確性の保証なしにキャッシングを行うと、修正したレイテンシよりもデバッグが難しいバグが発生します。

MemoryLakeがネイティブにキャッシングを処理する方法

自動キャッシュ無効化を伴う階層ストレージ

自動キャッシュ無効化を伴う階層ストレージ

ホット記憶がキャッシュされ、更新がクリーンに無効化されます。

MEMORY読み取りおよび書き込み…

読み取りおよび書き込みパターン

ワークスペースごとに設定可能。

MEMORYテナントごとのキャッシュスコーピング

テナントごとのキャッシュスコーピング

マルチテナントの正確性が保たれます。

キャッシュの可観測性

キャッシュの可観測性

ヒット率、レイテンシ、無効化テレメトリ。

無料で始める

永続無料 · クレジットカード不要

記憶キャッシングの仕組み

  1. 接続 — ワークスペースごとにキャッシュ層を設定します。
  2. 構造 — 記憶の書き込みがキャッシュされた読み取りを無効化します。
  3. 再利用 — 有効な場合はキャッシュから読み取り、そうでない場合はプライマリから読み取ります。

前後: エージェントの記憶キャッシング

DIY cacheMemoryLake
Cache invalidation correctnessManualBuilt in
Multi-tenant cache safetyCustomNative
Cache hit rate telemetryCustomOut of the box
Stale fact incidentsCommonPrevented

対象者

キャッシングが必要だが正確性を犠牲にできない高い記憶アクセススループットを持つ本番エージェントアプリを運営しているエンジニアリングチーム。

実行できるデモ約 2 分

このユースケースを自分のアカウントで試す

Harlow Desk のサポートエージェントはプロジェクトメモリをもとに動き、回答のたびにメモリ検索を行うため、チームは回答を 3 通りの方法でキャッシュします。15 分の TTL では 20 回中 7 回が古い回答になります。読むたびに先にプロジェクトのバージョンを確認する方法は正しく見えます。API による書き込みのたびに変わるからです。ところが請求担当リードがチャンネルにポリシー変更を投稿すると、バージョンはメッセージ追加の時点で変わり、エージェントはすぐに古い値でキャッシュを埋め直します。その 15~25 秒後に MemoryLake の抽出器がファクトをその場で書き換えますが、バージョンは動きません。その結果キャッシュは古い返金期間を最新として返し、20 回中 2 回が古い回答で、すべてキャッシュヒットです。ファクト自体のウォーターマークを確認する方法は同じコストで、古い回答は 0 回です。

見られるもの

  • 同じ 4 つの質問に 3 つのキャッシュで答え、同じ瞬間の直接の search と比較:15 分の TTL、プロジェクトのバージョン(proj get → updated_at)、ファクトのウォーターマーク(fact list --page-size 1:最新の updated_at + total)
  • 管理画面からの fact update、メタデータだけの更新、fact delete、メッセージの追加はいずれもプロジェクトのバージョンを進める。抽出器によるその場の書き換え(fact trace では COOK による UPDATE)が動かすのはファクトだけ
  • 競合:バージョンはメッセージ追加の時点で変わり、抽出が反映される前にキャッシュが埋め直され、古い値のエントリは無関係な書き込みが再びバージョンを進めるまで「最新」のまま
  • ウォーターマークに total が必要な理由:削除しても最新のファクトは変わらない。5 回の実行でウォーターマークは 96 回中 0 回が古い回答。versions サブコマンド、ローカル Web UI、モデル呼び出しなし

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/cache-invalidation-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

キャッシュTTLの設定?

ワークスペースごとおよび記憶タイプごと。

キャッシュ可観測性ツール?

ヒット率、無効化率、レイテンシ分布のダッシュボード。

セルフホスト?

はい — エンタープライズ層はあなたのVPCにデプロイされます。