構築する必要のない記憶の可観測性でプロダクションエージェントを運用する
Datadogでモデルの呼び出しを確認できます。OpenTelemetryでツールの呼び出しを確認できます。記憶はブラックボックスでした。MemoryLakeは、プロダクショングレードの記憶の可観測性 — メトリクス、トレース、アクセスログ — をすぐに利用できる形で提供します。
問題: プロダクションエージェントにおける記憶の不透明性
あなたのAPMツールはモデルを見ていますが、記憶の取得は見えていません。記憶のバグが発生したとき、どのエントリが返されたのか、どのようにランク付けされたのか、なぜそうなったのかについてのテレメトリはありません。記憶レイヤーは、プロダクションエージェントインフラストラクチャの最後の観測されていないレイヤーです。
MemoryLakeが記憶の可観測性を提供する方法
取得ごとのメトリクス
レイテンシ、ヒット率、トークン出力、取得数。
分散トレース統合
OpenTelemetry互換のトレース。
アクセスログ
すべての読み取りと書き込みが出所とともに記録されます。
記憶の健康ダッシュボード
記憶の成長、追放、ヒット率のための組み込みビュー。
永続無料 · クレジットカード不要
記憶の可観測性の仕組み
- 接続 — MemoryLakeであなたの可観測性スタックを認証します。
- 構造 — メトリクスとトレースが自動的に流れます。
- 再利用 — 他のレイヤーと同様に記憶に関するダッシュボードとアラートを使用します。
ビフォー vs. アフター: プロダクションエージェントの記憶の可観測性
| DIY memory | MemoryLake | |
|---|---|---|
| Memory latency telemetry | None | Per-retrieval |
| Memory access traces | None | OTel-compatible |
| Memory growth alerts | None | Built-in dashboards |
| Per-retrieval debugging | Hard | Memory provenance |
対象者
プロダクションエージェントを運用しているエンジニアリングおよびSREチームで、スタックの他のすべてのレイヤーにあるものと一致する記憶レイヤーのテレメトリが必要な方。
このユースケースを自分のアカウントで試す
決済プラットフォームチームは 6 本の runbook を共有メモリに保存し、オンコール アシスタントは MemoryRouter 経由でそこから回答します。一部の呼び出しでは何も添付されずに返ってきますが、返答はそのことを一切示しません。通常のプロンプトでは、モデルはそれでも回答します(「決済 webhook のログは 90 日間保持します」)。よくある対策「分からなければ 'No record.' と答え、推測しないこと」は捏造の一部を止めますが、検索の取りこぼしも「No record」に変えてしまい、その返答はどの runbook にも載っていない質問への返答とまったく同じに読めます。アプリは両者を見分けられます。各呼び出しのプロンプト トークンから、boundary なしの同じ呼び出しのトークンを引いたものが、MemoryRouter が添付した内容です。検索が空だったときは、アプリが自ら runbook を検索し、そのページを付けて質問し直し、回答の出どころを明示します。
見られるもの
- 6 本の runbook を MemoryLake にインポート。
search --types document --top-k 1は runbook で答えられる 8 問すべてで正しい runbook を見つけるので、答えはメモリにあります - チェッカー(
router messages)が、各質問に MemoryRouter が何を添付したかを示します:runbook の 1 ページ、または何もなし - 10 問をそれぞれ
router chat --boundary(gpt-4o-mini)で 3 回ずつ、計 6 回の実行:通常のプロンプトは 180 回中 82 回正解(捏造 98 回、すべて何も添付されなかった呼び出し);「推測しない」は 180 回中 100 回(捏造はなお 49 回、「No record」は 49 回で、そのうち 31 回は runbook で答えられる質問);アプリが添付トークンを確認し、空のときは自前の検索で補うと 180 回中 177 回、捏造ゼロ - ほかに、1 問ごとの添付トークンと回答の出どころを表示する
askサブコマンド、検索ごとのメトリクス、ローカル Web UI
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/empty-retrieval-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
OpenTelemetryのサポートはありますか?
OpenTelemetryのサポートはありますか?
はい — ネイティブOTelエクスポーターがあります。
Datadogとの統合はありますか?
Datadogとの統合はありますか?
はい — Datadogおよび主要なAPMがサポートされています。
セルフホストは可能ですか?
セルフホストは可能ですか?
はい — エンタープライズティアはあなたのVPCにデプロイされます。