それらを駆動した記憶を完全に可視化してエージェント出力を評価する
エージェント評価フレームワークは、エージェントが取得した記憶を知らずに出力をスコアリングします。悪い出力は、モデルが失敗した、プロンプトが失敗した、または記憶が失敗したことを意味するかもしれませんが、評価ではそれを判断できません。MemoryLakeは、すべての出力を使用された記憶にリンクさせるため、評価は実際に根本原因を特定します。
問題: 記憶のコンテキストなしのエージェント評価は盲目的
評価フレームワークは、出力の12%を低品質としてフラグ付けしました。モデルが失敗したのか、プロンプトが失敗したのか、取得した記憶が失敗したのかはわかりません。評価ごとに記憶のコンテキストがなければ、正しいものを修正するのは推測作業です。
MemoryLakeが記憶に基づく評価を提供する方法
出力ごとの記憶の由来
評価されたすべての出力は、使用された記憶にリンクしています。
良い出力と悪い出力の記憶の違い
品質と相関する記憶アクセスを確認します。
固定された記憶スナップショットに対する評価
制御された記憶状態でテストします。
記憶に基づく評価カテゴリ
取得に起因する失敗と生成に起因する失敗。
永続無料 · クレジットカード不要
記憶に基づく評価の仕組み
- 接続 — MemoryLakeを評価パイプラインに接続します。
- 構造化 — 各生成された出力は、使用された記憶を記録します。
- 再利用 — 評価分析は、生成の失敗とは別に記憶取得の失敗を示します。
前後: 記憶の認識を持つエージェント評価
| DIY memory + eval | MemoryLake | |
|---|---|---|
| Identify retrieval vs generation failures | Hard | Built in |
| Memory diff between cohorts | Manual | Semantic |
| Eval against pinned memory | Custom | Snapshots |
| Root cause attribution | Guesswork | Direct evidence |
対象者
エージェント評価パイプラインを運営しているエンジニアリングチームで、失敗を正しく帰属させて正しいものを修正する必要があるチーム — 現在の評価が記憶をブラックボックスとして扱っている場合。
このユースケースを自分のアカウントで試す
MemoryRouter 上のサポートアシスタントを 8 問で評価し、プロンプト v2 が v1 より良いかを判断します。何も変えずに同じ呼び出しを 3 回実行すると、付与される記憶が毎回変わり、採点が反転し、「v1 → v2」の結論はほぼ毎回異なります。質問ごとに記憶のスナップショットを固定すると記憶は動かなくなり、プロンプトの本当の効果が毎回現れ、すべての誤答に原因が付きます。
見られるもの
- 1 つのプロジェクトに 60 件のサポート知識、boundary は 1 つ。評価の呼び出しはすべて
router chat --boundary(gpt-4o-mini、temperature 0)で、正答が述べるべき事実に照らして採点 - MemoryRouter 経由の A/A:同一の呼び出し 3 回で、88 題次中 71 で付与された記憶量(prompt tokens)が異なり、33 で採点が変化。応答はどの記憶を使ったかを示しません。「v2 で壊れた / 直った」の一覧は 11 回で 10 通り
- スナップショット固定:質問ごとに
search --types fact --top-k 8を 1 回実行し、ID と本文を保存。以後すべてのプロンプトを同じスナップショットで実行(router chat --body、boundary なし)。記憶は 88/88 で同一、A/A の反転は 7/88(モデル自身のノイズ)、v2 の本当の退行(break-glass 手順の欠落)は 11 回すべてで検出 - スナップショットに対する誤答はすべて原因付き:採点が求める事実がスナップショットにない(検索の失敗。例:「アカウントの自動作成・削除」では SCIM の事実が取得されない)か、あるのに答えが落とした(生成の失敗)。
snapshot/replayサブコマンドとローカル Web UI 付き
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/agent-eval-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
評価フレームワークの統合?
評価フレームワークの統合?
RAGAS、OpenAI Evals、LangSmith、カスタム — すべてサポートされています。
記憶に基づく評価カテゴリ?
記憶に基づく評価カテゴリ?
取得リコール、取得精度、対立の浮上、由来の正確性。
セルフホスト?
セルフホスト?
はい — エンタープライズティアはあなたのVPCにデプロイします。