ピン留めして再生できる記憶スナップショットでエージェントを信頼性高くテスト
信頼性のあるエージェントテストには制御可能な記憶状態が必要です。スナップショットがないと、各テスト実行で異なる記憶が見られ、結果を比較できません。MemoryLakeは記憶スナップショットを提供します — 知られた状態で記憶をピン留めし、それに対してテストを行い、出力を比較します。
問題: 記憶スナップショットなしではエージェントテストが再現できない
テストAは合格。テストBは失敗。エージェントコードの問題か、記憶のドリフトか?ピン留めされた記憶がなければ、各テストは異なるコンテキストで実行されます。回帰テストは信頼性を欠き、エージェントの品質に対するCIは不可能です。
MemoryLakeがスナップショットでエージェントテストを可能にする方法
名前付き記憶スナップショット
テスト用に特定の記憶状態をピン留めします。
テストごとのスナップショット選択
各テストは知られた記憶状態に対して実行されます。
実行間の記憶差分
テスト間で何が変わったかを比較します。
環境間のスナップショットの昇格
開発、ステージング、CIで同じスナップショットを使用します。
永続無料 · クレジットカード不要
記憶スナップショットテストの仕組み
- 接続 — 知られた良好な記憶状態でスナップショットを作成します。
- 構造 — テストは実行時に特定のスナップショットに記憶をピン留めします。
- 再利用 — CIは一貫した記憶に対して実行され、結果はクリーンに比較されます。
前後の比較: 記憶スナップショットを用いたエージェントテスト
| DIY memory | MemoryLake | |
|---|---|---|
| Test reproducibility | Memory drift breaks tests | Pinned snapshots |
| Regression detection | Unreliable | Reliable |
| Snapshot promotion across envs | Custom | Built in |
| Memory diff between runs | Manual | Semantic diff |
対象者
テスト、回帰検出、および継続的インテグレーションのために信頼性のある記憶状態が必要なエンジニアリングチーム。
このユースケースを自分のアカウントで試す
Tollquay Freight の見積もりエージェントはプロジェクトメモリをもとに動きます。配送ルールごとに 1 件のファクトがあり、コードはそのメタデータを読みます。8 本のテストがエージェントを守り、テストはメモリを読むため、チームはフィクスチャを 3 通りの方法で固定します。同僚が 1 週間ルールを編集し、コードは一切変えなかったあと、ファクト id を固定したフィクスチャは「固定した id はすべて解決できる」と報告する一方で、8 本中 3 本のテスト結果が反転します。fact update は id を保つので、id が固定するのは名前であって内容ではありません。ライブメモリを読むテストは 8 本中 4 本が反転し、本物の境界バグが入ったときには 2 本中 1 本でしか検出できません。もう 1 本は上限そのものが動かされており、さらに 1 本はバグがメモリの変更を打ち消して緑になります。内容を固定したフィクスチャは反転 0 本で、2 本とも検出します。
見られるもの
- 3 つのフィクスチャを並べて比較:ライブの
fact list、fact getで 1 件ずつ読む id のリスト、読んだときの姿(テキスト、メタデータ、updated_at、sha256)でファイルに保存したファクト - 同僚による 5 回の書き込み、コード変更なし:id フィクスチャのチェックは 9/9 の id が解決できると示すが、その間に 3 本のテストが反転。ライブメモリが拾う新ルール(新しい id)も見えない
- 上限ちょうどの値を拒否してしまうリファクタリング:ライブメモリでは 30 kg の境界テストがもはや境界を試していない(上限は 25 kg に変更済み)。土曜日のテストはバグがメモリの変更を打ち消して緑になる
- 内容を固定:偽の赤は 0 本、バグは 2 本とも検出。ドリフトチェックはメタデータだけの承認を含む 5 件の変更をすべて列挙。
driftサブコマンド、ローカル Web UI、モデル呼び出しなし
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/snapshot-fixture-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
スナップショットのストレージコストは?
スナップショットのストレージコストは?
デルタエンコード; 最小限です。
環境間のスナップショット共有は?
環境間のスナップショット共有は?
はい — 開発、ステージング、プロダクションにスナップショットを昇格させます。
セルフホストは?
セルフホストは?
はい — エンタープライズティアはあなたのVPCにデプロイされます。