MemoryLake
エンジニアリング & 開発者エージェント出力のための記憶に基づく評価

それらを駆動した記憶を完全に可視化してエージェント出力を評価する

エージェント評価フレームワークは、エージェントが取得した記憶を知らずに出力をスコアリングします。悪い出力は、モデルが失敗した、プロンプトが失敗した、または記憶が失敗したことを意味するかもしれませんが、評価ではそれを判断できません。MemoryLakeは、すべての出力を使用された記憶にリンクさせるため、評価は実際に根本原因を特定します。

Day 1“エージェント評価フレームワークは、エージェントが取得した記憶を知らずに出力をスコアリングします。悪い出力は、モデルが失敗した、プロンプトが失敗した、または記憶が失敗したことを意味するかもしれませんが、評価ではそれを判断で”✓ Got it, I will remember.Day 7 — new session“Same task again — can you keep the context?”× Sure — what was the context again?(forgot every detail you taught it)+ MEMORYLAKE LAYERMemory auto-loaded出力ごとの記憶の由来良い出力と悪い出力の記憶の違い固定された記憶スナップショットに対する評価SESSION OUTPUT✓ Same prompt, on-brand answerNo re-briefing required.

それらを駆動した記憶を完全に可視化してエージェント出力を評価する

無料で始める

永続無料 · クレジットカード不要

問題: 記憶のコンテキストなしのエージェント評価は盲目的

評価フレームワークは、出力の12%を低品質としてフラグ付けしました。モデルが失敗したのか、プロンプトが失敗したのか、取得した記憶が失敗したのかはわかりません。評価ごとに記憶のコンテキストがなければ、正しいものを修正するのは推測作業です。

MemoryLakeが記憶に基づく評価を提供する方法

出力ごとの記憶の由来

出力ごとの記憶の由来

評価されたすべての出力は、使用された記憶にリンクしています。

MEMORY良い出力と悪い出力の記…

良い出力と悪い出力の記憶の違い

品質と相関する記憶アクセスを確認します。

MEMORY固定された記憶スナップショットに対する評価

固定された記憶スナップショットに対する評価

制御された記憶状態でテストします。

記憶に基づく評価カテゴリ

記憶に基づく評価カテゴリ

取得に起因する失敗と生成に起因する失敗。

無料で始める

永続無料 · クレジットカード不要

記憶に基づく評価の仕組み

  1. 接続 — MemoryLakeを評価パイプラインに接続します。
  2. 構造化 — 各生成された出力は、使用された記憶を記録します。
  3. 再利用 — 評価分析は、生成の失敗とは別に記憶取得の失敗を示します。

前後: 記憶の認識を持つエージェント評価

DIY memory + evalMemoryLake
Identify retrieval vs generation failuresHardBuilt in
Memory diff between cohortsManualSemantic
Eval against pinned memoryCustomSnapshots
Root cause attributionGuessworkDirect evidence

対象者

エージェント評価パイプラインを運営しているエンジニアリングチームで、失敗を正しく帰属させて正しいものを修正する必要があるチーム — 現在の評価が記憶をブラックボックスとして扱っている場合。

実行できるデモ約 3 分

このユースケースを自分のアカウントで試す

MemoryRouter 上のサポートアシスタントを 8 問で評価し、プロンプト v2 が v1 より良いかを判断します。何も変えずに同じ呼び出しを 3 回実行すると、付与される記憶が毎回変わり、採点が反転し、「v1 → v2」の結論はほぼ毎回異なります。質問ごとに記憶のスナップショットを固定すると記憶は動かなくなり、プロンプトの本当の効果が毎回現れ、すべての誤答に原因が付きます。

見られるもの

  • 1 つのプロジェクトに 60 件のサポート知識、boundary は 1 つ。評価の呼び出しはすべて router chat --boundary(gpt-4o-mini、temperature 0)で、正答が述べるべき事実に照らして採点
  • MemoryRouter 経由の A/A:同一の呼び出し 3 回で、88 題次中 71 で付与された記憶量(prompt tokens)が異なり、33 で採点が変化。応答はどの記憶を使ったかを示しません。「v2 で壊れた / 直った」の一覧は 11 回で 10 通り
  • スナップショット固定:質問ごとに search --types fact --top-k 8 を 1 回実行し、ID と本文を保存。以後すべてのプロンプトを同じスナップショットで実行(router chat --body、boundary なし)。記憶は 88/88 で同一、A/A の反転は 7/88(モデル自身のノイズ)、v2 の本当の退行(break-glass 手順の欠落)は 11 回すべてで検出
  • スナップショットに対する誤答はすべて原因付き:採点が求める事実がスナップショットにない(検索の失敗。例:「アカウントの自動作成・削除」では SCIM の事実が取得されない)か、あるのに答えが落とした(生成の失敗)。snapshot / replay サブコマンドとローカル Web UI 付き

必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上

実行する

git clone https://github.com/memorylake-ai/memorylake-usecases.git
cd memorylake-usecases/agent-eval-memory
export MEMORYLAKE_API_KEY=sk-…
python3 demo.py          # or: python3 web/server.py

動作を見る · 実際の録画、未編集

関連するユースケース

よくある質問

評価フレームワークの統合?

RAGAS、OpenAI Evals、LangSmith、カスタム — すべてサポートされています。

記憶に基づく評価カテゴリ?

取得リコール、取得精度、対立の浮上、由来の正確性。

セルフホスト?

はい — エンタープライズティアはあなたのVPCにデプロイします。