エージェント記憶戦略に関する実際のA/Bテストを実施 — 感覚的な比較ではなく
反射記憶が効果を上げているか、長期保持が役立っているか、異なる取得戦略が優れているかを知りたいと思っています。制御された実験がなければ、すべての決定は感覚に頼ることになります。MemoryLakeはA/Bテスト用の分岐記憶を提供します — 同じユーザー、異なる記憶戦略、測定可能な結果。
問題: エージェント記憶の決定には通常証拠がない
保持を増やすべきか? 取得ランキングを切り替えるべきか? 反射記憶を追加すべきか? ほとんどのチームはすべてのユーザーに変更を出荷し、最善を期待します。対照群がないため、実際の測定はできません。
MemoryLakeが記憶A/Bテストを可能にする方法
コホートごとの分岐記憶
コホートAは戦略1を使用; コホートBは戦略2を使用; その他は同じユーザー。
コホートごとの取得ルール
コホートごとに異なる記憶タイプ、保持、またはランキング。
記憶差による結果の帰属
コホート間で何が変わったかを測定。
勝利した分岐をメインに昇格
監査を伴って勝者を展開。
永続無料 · クレジットカード不要
記憶A/Bテストの仕組み
- 接続 — ワークスペースでコホートを定義します。
- 構造 — 各コホートは異なるルールを持つ記憶分岐を使用します。
- 再利用 — コホートごとにエージェントの結果を測定し、勝利した分岐を統合します。
前と後: エージェント記憶戦略の決定
| DIY memory | MemoryLake | |
|---|---|---|
| Comparing memory strategies | Vibes | Real A/B test |
| Per-cohort memory rules | Hard | Native branches |
| Outcome attribution | Limited | Memory diff |
| Rollout of winning strategy | Manual migration | Merge branch |
対象者
証拠に基づいた記憶戦略の決定を望むプロダクトおよびエンジニアリングチーム。"試してみたら良く感じた"ではなく。
このユースケースを自分のアカウントで試す
リリースアシスタント向けの4つのメモリ戦略をA/Bテストし、同じ回答を2通りに採点します。プラットフォームチームの4回のスタンドアップで条件付きの決定が8つ。そのうち3つ(ステージングのリハーサル、クライアントアプリの移行、コストレビュー)はその後誰も触れず、結果はどちらの方向にもメモリにありません。アシスタントはよく「No、ステージングのリハーサルは通りませんでした」と答えます。結論は正しいのに、理由は誰も記録していません。結論だけを見る採点器はこれを正解に数え、根拠を見る採点器は数えません。2つの採点器は別の勝者を選びます。
見られるもの
- 4つの GROUP 会話を順に投入し、抽出された事実を2つのブランチにコピー(
fact list→fact add)。各群の違いはテスト対象の戦略だけです。router chat --boundaryで Yes / No / Unknown で始まる8問に各3回、4群で回答 - 6 回の実行で、アプリが書く条件チェック(「満たされた記録はない」)は結論をすべて当てた(138 / 138)ものの、根拠があったのは 93 / 138 だけ。期限切れの3条件で、モデルは「記録がない」を「リハーサルは通らなかった」に 54 回中 45 回書き換えました
- 慎重なシステムプロンプト:結論 118 / 130、根拠 94 / 130。期限切れの3つのチェックだけを「どちらとも記録されていない。起きたとも起きなかったとも言わないこと」に書き換えると、結論 138 / 138、根拠 138 / 138
- 根拠採点器は「…の記録はない」といった表現と言い直された条件を取り除き、その群のメモリにない結果についての主張を探します。採点前に用意した正例・反例で検証済み。
memory・askサブコマンドとローカル Web UI 付き
必要なもの: MemoryLake の API キー · memorylake CLI · Python 3.9 以上
実行する
git clone https://github.com/memorylake-ai/memorylake-usecases.git cd memorylake-usecases/no-record-memory export MEMORYLAKE_API_KEY=sk-… python3 demo.py # or: python3 web/server.py
動作を見る · 実際の録画、未編集
関連するユースケース
よくある質問
統計的有意性ツールは?
統計的有意性ツールは?
記憶差は標準のA/B分析フレームワークと統合されています。
コホートサイズは?
コホートサイズは?
設定可能; 段階的な展開をサポートします。
セルフホストは?
セルフホストは?
はい — エンタープライズ層はあなたのVPCに展開します。