MemoryLake
エンジニアリング & 開発者プロダクションエージェントのための記憶の可観測性

構築する必要のない記憶の可観測性でプロダクションエージェントを運用する

Datadogでモデルの呼び出しを確認できます。OpenTelemetryでツールの呼び出しを確認できます。記憶はブラックボックスでした。MemoryLakeは、プロダクショングレードの記憶の可観測性 — メトリクス、トレース、アクセスログ — をすぐに利用できる形で提供します。

Day 1“Datadogでモデルの呼び出しを確認できます。OpenTelemetryでツールの呼び出しを確認できます。記憶はブラックボックスでした。MemoryLakeは、プロダクショングレードの記憶の可観測性”“— メトリクス、ト”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded取得ごとのメトリクス分散トレース統合アクセスログSESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

構築する必要のない記憶の可観測性でプロダクションエージェントを運用する

無料で始める

永続無料 · クレジットカード不要

問題: プロダクションエージェントにおける記憶の不透明性

あなたのAPMツールはモデルを見ていますが、記憶の取得は見えていません。記憶のバグが発生したとき、どのエントリが返されたのか、どのようにランク付けされたのか、なぜそうなったのかについてのテレメトリはありません。記憶レイヤーは、プロダクションエージェントインフラストラクチャの最後の観測されていないレイヤーです。

MemoryLakeが記憶の可観測性を提供する方法

取得ごとのメトリクス

取得ごとのメトリクス

レイテンシ、ヒット率、トークン出力、取得数。

MEMORY分散トレース統合

分散トレース統合

OpenTelemetry互換のトレース。

MEMORYアクセスログ

アクセスログ

すべての読み取りと書き込みが出所とともに記録されます。

記憶の健康ダッシュボード

記憶の健康ダッシュボード

記憶の成長、追放、ヒット率のための組み込みビュー。

無料で始める

永続無料 · クレジットカード不要

記憶の可観測性の仕組み

  1. 接続 — MemoryLakeであなたの可観測性スタックを認証します。
  2. 構造 — メトリクスとトレースが自動的に流れます。
  3. 再利用 — 他のレイヤーと同様に記憶に関するダッシュボードとアラートを使用します。

ビフォー vs. アフター: プロダクションエージェントの記憶の可観測性

DIY memoryMemoryLake
Memory latency telemetryNonePer-retrieval
Memory access tracesNoneOTel-compatible
Memory growth alertsNoneBuilt-in dashboards
Per-retrieval debuggingHardMemory provenance

対象者

プロダクションエージェントを運用しているエンジニアリングおよびSREチームで、スタックの他のすべてのレイヤーにあるものと一致する記憶レイヤーのテレメトリが必要な方。

実行できるデモ約 4 分

このユースケースを自分のアカウントで試す

決済プラットフォームチームは 6 本の runbook を共有メモリに保存し、オンコール アシスタントは MemoryRouter 経由でそこから回答します。一部の呼び出しでは何も添付されずに返ってきますが、返答はそのことを一切示しません。通常のプロンプトでは、モデルはそれでも回答します(「決済 webhook のログは 90 日間保持します」)。よくある対策「分からなければ 'No record.' と答え、推測しないこと」は捏造の一部を止めますが、検索の取りこぼしも「No record」に変えてしまい、その返答はどの runbook にも載っていない質問への返答とまったく同じに読めます。アプリは両者を見分けられます。各呼び出しのプロンプト トークンから、boundary なしの同じ呼び出しのトークンを引いたものが、MemoryRouter が添付した内容です。検索が空だったときは、アプリが自ら runbook を検索し、そのページを付けて質問し直し、回答の出どころを明示します。

見られるもの

  • 6 本の runbook を MemoryLake にインポート。search --types document --top-k 1 は runbook で答えられる 8 問すべてで正しい runbook を見つけるので、答えはメモリにあります
  • チェッカー(router messages)が、各質問に MemoryRouter が何を添付したかを示します:runbook の 1 ページ、または何もなし
  • 10 問をそれぞれ router chat --boundary(gpt-4o-mini)で 3 回ずつ、計 6 回の実行:通常のプロンプトは 180 回中 82 回正解(捏造 98 回、すべて何も添付されなかった呼び出し);「推測しない」は 180 回中 100 回(捏造はなお 49 回、「No record」は 49 回で、そのうち 31 回は runbook で答えられる質問);アプリが添付トークンを確認し、空のときは自前の検索で補うと 180 回中 177 回、捏造ゼロ
  • ほかに、1 問ごとの添付トークンと回答の出どころを表示する ask サブコマンド、検索ごとのメトリクス、ローカル Web UI

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/empty-retrieval-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

OpenTelemetryのサポートはありますか?

はい — ネイティブOTelエクスポーターがあります。

Datadogとの統合はありますか?

はい — Datadogおよび主要なAPMがサポートされています。

セルフホストは可能ですか?

はい — エンタープライズティアはあなたのVPCにデプロイされます。