正確性を損なうことなくエージェントの記憶ホットパスをキャッシュする
本番エージェントのホット記憶パスはキャッシングの恩恵を受けますが、単純なキャッシングは古い事実や不一致なエージェントの動作を生じさせます。MemoryLakeは正確性を保つ無効化セマンティクスを持つ組み込みのキャッシュ層を提供します。
問題: エージェントの記憶におけるDIYキャッシュ層が古い事実を引き起こす
あなたは記憶ストアの上にRedisキャッシングを追加しました。レイテンシは改善されました。しかし、記憶が更新されたときにキャッシュが無効化されなかったため、エージェントは時々昨日の事実を返します。正確性の保証なしにキャッシングを行うと、修正したレイテンシよりもデバッグが難しいバグが発生します。
MemoryLakeがネイティブにキャッシングを処理する方法
自動キャッシュ無効化を伴う階層ストレージ
ホット記憶がキャッシュされ、更新がクリーンに無効化されます。
読み取りおよび書き込みパターン
ワークスペースごとに設定可能。
テナントごとのキャッシュスコーピング
マルチテナントの正確性が保たれます。
キャッシュの可観測性
ヒット率、レイテンシ、無効化テレメトリ。
永続無料 · クレジットカード不要
記憶キャッシングの仕組み
- 接続 — ワークスペースごとにキャッシュ層を設定します。
- 構造 — 記憶の書き込みがキャッシュされた読み取りを無効化します。
- 再利用 — 有効な場合はキャッシュから読み取り、そうでない場合はプライマリから読み取ります。
前後: エージェントの記憶キャッシング
| DIY cache | MemoryLake | |
|---|---|---|
| Cache invalidation correctness | Manual | Built in |
| Multi-tenant cache safety | Custom | Native |
| Cache hit rate telemetry | Custom | Out of the box |
| Stale fact incidents | Common | Prevented |
対象者
キャッシングが必要だが正確性を犠牲にできない高い記憶アクセススループットを持つ本番エージェントアプリを運営しているエンジニアリングチーム。
このユースケースを自分のアカウントで試す
Harlow Desk のサポートエージェントはプロジェクトメモリをもとに動き、回答のたびにメモリ検索を行うため、チームは回答を 3 通りの方法でキャッシュします。15 分の TTL では 20 回中 7 回が古い回答になります。読むたびに先にプロジェクトのバージョンを確認する方法は正しく見えます。API による書き込みのたびに変わるからです。ところが請求担当リードがチャンネルにポリシー変更を投稿すると、バージョンはメッセージ追加の時点で変わり、エージェントはすぐに古い値でキャッシュを埋め直します。その 15~25 秒後に MemoryLake の抽出器がファクトをその場で書き換えますが、バージョンは動きません。その結果キャッシュは古い返金期間を最新として返し、20 回中 2 回が古い回答で、すべてキャッシュヒットです。ファクト自体のウォーターマークを確認する方法は同じコストで、古い回答は 0 回です。
見られるもの
- 同じ 4 つの質問に 3 つのキャッシュで答え、同じ瞬間の直接の
searchと比較:15 分の TTL、プロジェクトのバージョン(proj get→updated_at)、ファクトのウォーターマーク(fact list --page-size 1:最新のupdated_at+total) - 管理画面からの
fact update、メタデータだけの更新、fact delete、メッセージの追加はいずれもプロジェクトのバージョンを進める。抽出器によるその場の書き換え(fact traceではCOOKによるUPDATE)が動かすのはファクトだけ - 競合:バージョンはメッセージ追加の時点で変わり、抽出が反映される前にキャッシュが埋め直され、古い値のエントリは無関係な書き込みが再びバージョンを進めるまで「最新」のまま
- ウォーターマークに
totalが必要な理由:削除しても最新のファクトは変わらない。5 回の実行でウォーターマークは 96 回中 0 回が古い回答。versionsサブコマンド、ローカル Web UI、モデル呼び出しなし
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/cache-invalidation-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
キャッシュTTLの設定?
キャッシュTTLの設定?
ワークスペースごとおよび記憶タイプごと。
キャッシュ可観測性ツール?
キャッシュ可観測性ツール?
ヒット率、無効化率、レイテンシ分布のダッシュボード。
セルフホスト?
セルフホスト?
はい — エンタープライズ層はあなたのVPCにデプロイされます。