AIアシスタントがあなたに関する事実を捏造する理由、そしてその解決策（2026年）

2026年8月5日、Yushi Sun氏、Yanjie Zhang氏、Rui Sheng氏によって、『The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads』と題されたプレプリントがarXivに投稿されました。この論文は、本質的な前提から始まります。永続メモリーを備えたパーソナライズされたアシスタントが広く導入されている一方で、その内部にあるユーザーモデルが証拠に忠実であるかどうかを誰も検証してこなかった、という点です。

著者らは「MirageBench」と呼ばれるベンチマークを構築しました。これは、ステレオタイプ、反ステレオタイプ、およびニュートラルなプロファイルにバランスよく配分された150のペルソナで構成され、彼らが「想像力グラディエント（imagination gradient）」と呼ぶものに沿って配置された6つのパーソナライズタスク（マッチングアプリのプロフィールの作成、見知らぬ都市での週末の旅程の提案、推薦状の起草、100ドルの誕生日プレゼントの選択、ユーザーのアパートの描写、ユーザーが最もストレスを感じる要因の特定）を実行させました。モデルがユーザーに関して行ったすべての主張は、次の4つのカテゴリに分類されました。Grounded（根拠あり：ユーザーが言ったことをそのまま述べる）、Reasonable（合理的：常識的な範囲で証拠を1ステップ拡張する）、Stereotype（ステレオタイプ：個人の証拠の代わりに人口統計学的または職業的な先入観を当てはめる）、Fabricated（捏造：証拠となる根拠がまったくない）。

主要な数値は次の通りです。7つのファミリーに属する12のモデルと143,616件の判定された主張において、すべてのモデルが主張の35%から49%の間で過剰な推論（捏造）を行っており、モデル全体の平均は41.6%でした。評価対象となったモデルの中に、これを免れたものは一つもありませんでした。この割合はタスクによって27%から59%まで変動しており、この挙動が、タスクが想像力にどれだけの余地を残しているかによって引き起こされることを示しています。

注目すべき2つの詳細があります。第一に、マルチターンのパイロットテストにおいて、推論された属性はほとんど修正されることなく、ほぼ線形に蓄積されました。モデルがあなたについて何かを決定すると、その後のターンではそれを検証するのではなく、それをベースにさらに構築していく傾向がありました。第二に、著者らは「自己監視の反転（Self-Monitoring Inversion）」と呼ぶ現象を発見しました。モデル間の比較において、モデルが自己評価した過剰推論の度合いは、独立した判定者が測定した過剰推論と負の順位相関を示しました。つまり、最も慎重であると主張したモデルほど、最も捏造が多いと判定される傾向があったのです。

これらが持つ重みを変えるため、3つの誠実な注意書き（caveats）を添えておきます。

• これはプレプリントであり、査読済みの論文ではありません。 2026年8月5日に投稿されたものであり、以下の数値は確定した結果ではなく、初期の測定値として解釈されるべきです。
• 自己監視の反転は、明示的に探索的なものです。 相関関係は n = 12 で rho = −0.60（p = 0.044）ですが、著者らはブートストラップ信頼区間を [−0.90, +0.06] と報告しており、効果なし（0）を含むほど広いです。これはモデルが自己チェックできないという証拠ではありません。単一モデルの内部では、自己監査はそのモデル自身の主張を中程度にうまくランク付けしていました（AUROC 0.58–0.83）。この発見は、「AIは自分がいつ嘘をついているか分からない」というよりも、狭く、より実用的なものです。つまり、自己申告された信頼度は、モデルを比較する手段としては不適切であるということです。
• タスクは仕事のタスクではなく、プライベートな生活のタスクです。 MirageBenchは、デプロイプロセスやクライアントの請求条件についてではなく、アパートや誕生日プレゼントについてモデルに質問しました。証拠のギャップを先入観で埋めるというメカニズムは、対象が仕事であっても明らかに変わりませんが、ベンチマークではそれをテストしておらず、パーセンテージがそのまま当てはまると仮定すべきではありません。

評価されたモデルは、GPT-5.5、GPT-5.4-nano、GPT-4o-mini、Claude-Opus-4-6、Gemini-3.1-pro-preview、Gemini-3-flash-preview、DeepSeek-v4-pro、DeepSeek-v4-flash、Qwen3.6-plus、Qwen3-8B、GLM-5.1、Kimi-K2.5でした。判定者自体は、400件の主張においてブラインドの人間アノテーターに対して検証され、4クラスのタスクでコヒーレンスのカッパ係数（Cohen's kappa）0.863、バイナリのタスクで0.900に達しました。これは良好な一致ですが、それでもLLMによる判定です。

ギャップは何かで埋められなければならない

組み込みのメモリーが保持する事実はごくわずかです。寛大に見積もっても、個人に関する数百語程度（いくつかの好み、役職、進行中のプロジェクトが2、3個など）です。そこに、プロフィール、推薦、トーンを合わせたメールなど、人間らしい回答を必要とするものを求めます。モデルは、6つのことしか知らない人物について、流暢で具体的なテキストを生成しなければなりません。

不足している90%を空白として出力するメカニズムは存在しません。言語モデルは「補完」するものであり、デフォルトで「棄権」することはありません。そのため、ベルリンや物流について言及した人物にとって統計的にありそうな内容でギャップが埋められます。これは、下書き作成においてモデルを便利にし、記録保持において危険にするのと同じ挙動です。そして、コンテキストウィンドウが大きくてもこの問題が解決しない理由でもあります。問題はどれだけ入るかではなく、与えられた情報と生成された情報を区別するものが何もないことです。

ステレオタイプは証拠よりも安価である

MirageBenchの最も鋭い設計上の選択は、ペルソナをステレオタイプなプロフィールと反ステレオタイプなプロフィールでバランスよく配置したことでした。この分離によって、失敗モードが可視化されます。個人の証拠が薄い場合、人口統計学的および職業的な先入観が介入します。看護師は「面倒見が良い」と描写され、クオンツは「ぶっきらぼう」と描写されます。どちらもその個人を描写したのではなく、カテゴリを描写したのです。

仕事の文脈において、これはあなたのアシスタントが「あなたのチームはほとんどのチームと同じように運営されている」と仮定することとして現れます。つまり、標準的なツールを使い、標準的なプロセスに従い、標準的な成果物を望んでいると仮定するのです。パーソナライズされているように見えて、自信満々に一般的（ジェネリック）なのです。

修正するものが何もないため、推論が複利的に蓄積される

マルチターンに関する発見は、アシスタントを数ヶ月にわたって使用するすべての人にとって懸念すべきものです。推論された属性は、ほとんど修正されることなく蓄積されました。これは、ソースではなく出力を記録するメモリーシステムに期待される通りの結果です。1週目の推論は、あなたが述べたことと同じフォーマットで書き込まれ、5週目には事実と区別がつかなくなります。ループ内の何ものも、過去に遡って「彼らは本当にこれを言ったのだろうか？」と問い直すことはありません。

チャット内で修正する。 これは現在の会話には有効であり、純粋に最初のステップとして適切です。しかし、ストレージから推論を削除することはできず、来週同じ薄い証拠から同じ推論が再生成されるのを防ぐこともできません。

メモリーリストを読んで整理する。 より良く、行う価値があります。しかし、保存されたメモリーリストに表示されるのは「エントリー」であり、「プロベナンス（由来）」ではありません。あなたがそう言ったのか、それともモデルがそう結論付けたのかが分からないまま、「直接的で簡潔なコミュニケーションを好む」という項目を目にすることになります。結果として、すべてが等しく権威があるように見えるリストを監査することになります。

長いカスタム指示（カスタムインストラクション）ブロックを書く。 これにより最低限のラインは引き上げられます。明示的に述べる内容が多ければ多いほど、モデルが捏造しなければならない部分は減ります。これは、最もレバレッジの高い手動のステップです。制限としては、ブロックが小さく、あなたに合わせて成長しないこと、そして1つの製品にしか適用されないことです。使用する他のすべてのツールで、同じ事実を再表明する必要があります。

モデルに自身の不確実性をフラグ立てさせる。 これは、今回の研究が明確に否定している回避策です。単一のモデル内では、自己監査にある程度のシグナルが含まれるため、「これらのうち、私が実際にあなたに伝えたのはどれですか？」と尋ねることは無駄ではありません。しかし、著者らの結論は、その方向性について曖昧さはありません。自己申告は、信頼を築くための基盤にはなりません。

蓄積を避けるために新しいチャットを開始する。 複利的な蓄積を防ぐには効果的ですが、コストがかかります。捏造されたコンテキストを「コンテキストなし」とトレードオフしただけであり、これはそもそもメモリー機能が存在した理由である問題を解決していません。

論文自体の推奨事項が設計原則となっています。信頼できるパーソナライズのためのより確実な基盤として、モデルの自己申告ではなく外部検証を位置づけ、表明された事実と裏付けのない推論を区別するプロベナンス（由来）追跡を主張しています。つまり、リンクされていない推論を確立された事実ではなく、仮説として扱うということです。

これは、モデルの外部に存在するメモリーレイヤーの説明です。よりスマートなアシスタントではなく、あなたが所有し、どのアシスタントからでも読み取ることができ、その内容を一行ずつ検査できるソース資料のストレージです。記録に「3月3日にアップロードしたドキュメントに基づく、四半期レビュープロセス」とあれば、モデルには根拠（グラウンディング）となるものがあります。記録が沈黙している場合、少なくとも出力の具体性が他のどこかから来たものであることが分かります。

これがもたらすことともたらさないことを明確にしておきます。外部メモリーレイヤーは、モデルのハルシネーションを止めるものではありません。変わるのは、あなたに関する主張が生成プロセスの中に閉じ込められなくなることです。それらは、あなたが読み、修正し、引用できるファイルになります。MemoryLakeはその仕事のために構築されています。アシスタントが読み取る1つのメモリーレイヤーであり、モデルがあなたについて書いた要約ではなく、あなたがそこに置いたドキュメントや事実を保持します。

セットアップは3つのステップで行えます。

ステップ 1: APIキーを作成する

キーを生成し、約30秒で最初のリクエストを送信します。これはアシスタントやエージェントがメモリーを読み書きするために使用する認証情報であるため、同期や共有される設定ファイルに貼り付けるのではなく、環境変数やシークレットマネージャーに保存してください。

ステップ 2: 最初のメモリーをアップロードする

あなたの状況を実際に説明するドキュメント、画像、ファイルをドロップします。あなたが書いた役割の説明、クライアントのブリーフ、スタイルガイド、決定事項ドキュメントなどです。要約ではなく、ソース資料から始めてください。要約は推論が入り込むもう一つのレイヤーであり、このプロセスの目的は、実際に言われたことのコピーを保持することです。

ステップ 3: AIとエージェントを接続する

Claude、Codex、OpenClaw、およびその他のエージェントに、MCPまたはAPIを介してメモリーへのアクセスを許可します。ネイティブMCPをサポートするツールの場合は、そのツールのMCP設定にサーバーを追加します。MCPのないコンシューマー向けチャット製品（ChatGPTやPerplexityなど）の場合は、APIを介して関連するメモリーを取得し、プロンプトまたはモデルを呼び出すワークフローに注入します。いずれにせよ、アシスタントはあなたが開くことのできる記録から回答するようになります。

出力の自信が必ずしも低下するわけではありません。変わるのは、その自信がどこから来たのかを特定できるようになることです。

プロフィールを求めると、アップロードした役割の説明に基づいたものが得られ、捏造された部分はストレージ内の何ものとも結びついていないことが一目で分かります。2つの異なるアシスタントに同じ質問をしても、それらは同じソース資料を参照するため、自分自身について2つの異なる想像上のバージョンが生成されることはなくなります。これは、ツール間でメモリーを共有できない問題の実用的な解決策です。

また、構造的な理由から、複利的な蓄積も止まります。ストレージがモデルによるあなたの進行中の要約ではなく、ドキュメントや表明された事実を保持している場合、5週目の回答は1週目の回答と同じソースから構築されます。古い推論がファイルに存在し続けることで事実に昇格することはありません。なぜなら、それは最初からファイルに書き込まれていないからです。

そして、何かが間違っている場合、その修復は本当の修復になります。症状ではなくソースを修正するのです。これは、明日また同じ推測を再生成するアシスタントを修正するのとは異なる作業です。

結論ではなくソースを保存する

「クライアントはフォーマルなトーンを好む」ではなく、実際のブリーフをアップロードしてください。結論は正しいかもしれませんが、単なる主張として保存されると、モデルが決定したことと区別がつかなくなります。日付付きのドキュメントとして保存されていれば、それは証拠になります。これは、論文が主張するプロベナンス（由来）原則の実践的な形態です。

誤りではなく、自信に満ちた具体的な記述を監査する

アシスタントがあなたについて信じていることを確認するとき、エラーだけを探してはいけません。疑わしいほど具体的な詳細（近所、家族構成、習慣、性格の読み取りなど）を探してください。これらは捏造が集中する場所です。なぜなら、それらはタスクが最も求め、あなたの記録が最もサポートしていない詳細だからです。曖昧で正しいのは問題ありませんが、具体的でソースがないのは捏造の兆候です。

モデルの自信をチェック基準にしない

単一のアシスタント内では、どの主張に根拠があるかを尋ねることは一定の効果があります。しかし、アシスタント間で比較する場合、期待とは逆の結果をもたらします。そのため、自己評価は1つのツール内での弱いシグナルとして扱い、ある製品を別の製品よりも信頼する理由には決してしないでください。機能するチェック方法は、あなた自身で記録を確認することです。

『The Personalization Mirage』の興味深い点は、モデルが物事を捏造することではありません。それは誰もが知っていました。興味深いのは、それがパーソナライズを解決するはずだったレイヤーで具体的に発生していること、研究対象となったすべてのモデルがそれを回避できなかったこと、およびモデルに自己監視を求めると、モデルがほぼ誤った順序でソートされることです。

この発見から導き出される対応は、より優れたプロンプトではありません。記録をジェネレーターから切り離すことです。あなたが実際に言ったことを、読み、修正できるストレージに保管し、アシスタントにそこから読み取らせ、ギャップを埋めることを生業とするシステムに、どの部分がギャップであったかを尋ねるのをやめることです。そうすれば、回答の中の具体的な記述は何かへと追跡可能になり、追跡できない記述はありのままの姿として可視化されます。