AI 어시스턴트가 당신에 대한 사실을 지어내는 이유와 해결 방법 (2026)

2026년 8월 5일, Yushi Sun, Yanjie Zhang, Rui Sheng이 작성한 The Personalization Mirage: How LLMs Fabricate User Profiles, and Why Self-Monitoring Misleads라는 제목의 사전 인쇄본(preprint) 논문이 arXiv에 게재되었습니다. 이 논문은 여기서 중요한 전제로부터 시작합니다. 영구 메모리를 갖춘 개인화된 어시스턴트가 널리 배포되고 있지만, 그 내부의 사용자 모델이 실제 증거에 부합하는지 확인한 사람은 아무도 없었다는 점입니다.

저자들은 MirageBench라는 벤치마크를 구축했습니다. 고정관념적, 반고정관념적, 중립적 프로필로 균형을 맞춘 150개의 페르소나를 대상으로, 그들이 '상상력 기울기(imagination gradient)'라고 부르는 기준에 따라 배열된 6가지 개인화 작업(데이팅 프로필 소개 작성, 낯선 도시에서의 주말 일정 추천, 추천서 초안 작성, $100 상당의 생일 선물 고르기, 사용자의 아파트 묘사, 사용자가 가장 스트레스받는 요인 파악)을 실행했습니다. 모델이 사용자에 대해 제기한 모든 주장은 다음 네 가지 범주로 분류되었습니다. Grounded(사용자가 말한 내용을 그대로 재진술함), Reasonable(상식적인 수준에서 증거를 한 단계 확장함), Stereotype(개인적 증거 대신 인구통계학적 또는 직업적 사전 지식으로 대체함), Fabricated(증거적 근거가 전혀 없음).

핵심 수치는 다음과 같습니다. 7개 제품군 12개 모델에 걸친 143,616개의 판정된 주장 중에서, 단 하나의 예외도 없이 모든 모델이 주장의 35%에서 49% 사이를 과도하게 추론(over-infer)했으며, 모델 전체 평균은 41.6%였습니다. 평가 대상 모델 중 단 하나도 이를 피하지 못했습니다. 비율은 작업에 따라 27%에서 59%까지 다양했는데, 이는 작업이 상상력을 발휘할 여지를 얼마나 남겨두느냐에 따라 이러한 행동이 유발된다는 것을 보여줍니다.

기억해 둘 만한 두 가지 세부 사항이 있습니다. 첫째, 멀티턴 파일럿 테스트에서 추론된 속성은 거의 수정 없이 선형적으로 누적되었습니다. 즉, 모델이 일단 당신에 대해 무언가를 결정하면, 이후의 턴에서는 이를 검증하기보다 그 위에 내용을 덧붙이는 경향이 있었습니다. 둘째, 저자들은 '자기 모니터링 역전(Self-Monitoring Inversion)'이라고 부르는 현상을 발견했습니다. 모델 간 비교 수준에서, 모델이 스스로 평가한 과도 추론 정도는 독립적인 판정단이 측정한 과도 추론 정도와 음의 순위 상관관계를 보였습니다. 즉, 스스로 가장 신중하다고 주장한 모델들이 실제로는 가장 많은 날조를 저지른 것으로 플래그가 지정되는 경향이 있었습니다.

이 연구의 무게감을 정확히 평가하기 위해 세 가지 솔직한 한계점을 짚고 넘어가야 합니다.

• 이것은 동료 검토(peer-review)를 거치지 않은 사전 인쇄본입니다. 2026년 8월 5일에 게재되었으며, 아래 수치들은 확정된 결과가 아닌 첫 번째 측정값으로 읽어야 합니다.
• 자기 모니터링 역전은 명백히 탐색적인 결과입니다. 상관관계는 n = 12에서 rho = −0.60, p = 0.044이지만, 저자들은 [−0.90, +0.06]이라는 넓은 부트스트랩 신뢰 구간을 보고했습니다. 이는 효과가 없을 가능성도 포함할 만큼 넓은 범위입니다. 이것이 모델이 스스로를 전혀 검증할 수 없다는 증거는 아닙니다. 단일 모델 내부에서 자체 감사는 해당 모델 자신의 주장을 어느 정도 잘 분류했습니다(AUROC 0.58–0.83). 이 발견은 "AI는 자신이 언제 거짓말을 하는지 모른다"는 것보다 더 좁고 유용한 의미를 갖습니다. 즉, 자가 보고된 확신도는 모델들을 비교하는 데 있어 나쁜 기준이라는 점입니다.
• 평가된 작업들은 업무용 작업이 아닌 개인 생활 관련 작업들입니다. MirageBench는 배포 프로세스나 고객의 청구 조건이 아니라 아파트와 생일 선물에 대해 모델에 물었습니다. 증거의 공백을 사전 지식으로 채우는 메커니즘이 대상이 업무로 바뀐다고 해서 명백히 달라지지는 않겠지만, 벤치마크에서 이를 테스트하지는 않았으므로 비율이 그대로 적용될 것이라고 가정해서는 안 됩니다.

평가된 모델은 GPT-5.5, GPT-5.4-nano, GPT-4o-mini, Claude-Opus-4-6, Gemini-3.1-pro-preview, Gemini-3-flash-preview, DeepSeek-v4-pro, DeepSeek-v4-flash, Qwen3.6-plus, Qwen3-8B, GLM-5.1, Kimi-K2.5였습니다. 판정 모델 자체는 400개의 주장에 대해 블라인드 인간 주석가와 검증을 거쳤으며, 4클래스 작업에서 Cohen's kappa 0.863, 이진 작업에서 0.900에 도달했습니다. 이는 꽤 괜찮은 일치도이지만, 여전히 LLM 판정 모델이라는 점을 감안해야 합니다.

공백은 무엇으로든 채워져야 합니다

내장 메모리는 짧은 사실 목록만 보관합니다. 후하게 쳐줘도 한 사람에 대해 몇 백 단어 수준으로, 몇 가지 선호도, 직함, 진행 중인 프로젝트 두어 개 정도입니다. 그런 다음 바이오, 추천서, 톤앤매너를 맞춘 이메일 등 사람에 대한 구체적인 답변이 필요한 작업을 요청합니다. 모델은 단 6가지 사실만 알고 있는 대상에 대해 유창하고 구체적인 텍스트를 만들어내야 합니다.

누락된 90%의 영역을 빈칸으로 남겨두는 메커니즘은 존재하지 않습니다. 언어 모델은 기본적으로 텍스트를 완성하며, 기권하지 않습니다. 따라서 베를린과 물류를 언급한 사람에게 통계적으로 가장 그럴듯한 내용으로 공백이 채워집니다. 이는 초안 작성에는 유용하지만 기록 보관에는 위험하게 만드는 동일한 동작 방식이며, 대형 컨텍스트 창이 문제를 해결하지 못하는 이유이기도 합니다. 문제는 얼마나 많이 들어가느냐가 아니라, 제공된 정보와 생성된 정보를 구분할 수 있는 장치가 전혀 없다는 점입니다.

고정관념은 증거보다 비용이 적게 듭니다

MirageBench의 가장 날카로운 설계 선택은 고정관념적 프로필과 반고정관념적 프로필의 균형을 맞춘 것이었습니다. 이 구분을 통해 실패 모드를 명확히 볼 수 있습니다. 개인적인 증거가 부족할 때 인구통계학적 및 직업적 사전 지식이 개입합니다. 간호사는 보살핌이 넘치는 사람으로 묘사되고, 퀀트(금융 분석가)는 무뚝뚝한 사람으로 묘사됩니다. 둘 다 실제 그 사람을 묘사한 것이 아니라 해당 카테고리를 묘사한 것입니다.

업무 환경에서 이는 어시스턴트가 당신의 팀이 대부분의 팀과 같은 방식으로 운영된다고 가정하는 모습으로 나타납니다. 즉, 표준 도구를 사용하고, 표준 프로세스를 따르며, 표준 결과물을 원한다고 가정하는 것입니다. 이는 개인화된 것처럼 보이지만 실제로는 자신감 있게 일반적인 내용일 뿐입니다.

수정하는 장치가 없기 때문에 추론이 누적됩니다

멀티턴에 대한 발견은 어시스턴트를 수개월 동안 사용하는 사람이라면 누구나 우려해야 할 부분입니다. 추론된 속성은 거의 수정 없이 누적되었습니다. 이는 출처가 아닌 출력 결과를 메모리에 기록하는 시스템에서 예상할 수 있는 결과입니다. 첫째 주에 추론한 내용이 당신이 직접 말한 내용과 동일한 형식으로 기록되고, 다섯째 주가 되면 사실과 구별할 수 없게 됩니다. 루프 내의 그 어떤 것도 뒤로 돌아가 "이 사람이 실제로 이 말을 한 적이 있는가?"라고 묻지 않습니다.

채팅에서 바로 수정하기. 이는 현재 대화에는 효과가 있으며 실제로 가장 먼저 취해야 할 올바른 조치입니다. 하지만 저장소에서 해당 추론을 제거하지는 못하며, 다음 주에 동일하게 부족한 증거를 바탕으로 동일한 추론이 다시 생성되는 것을 막지 못합니다.

메모리 목록을 읽고 정리하기. 더 나은 방법이며 해볼 만한 가치가 있습니다. 하지만 저장된 메모리 목록은 출처(provenance)가 아닌 항목(entries)만 보여줍니다. 즉, "직접적이고 간결한 소통을 선호함"이라는 문구만 보일 뿐, 당신이 그렇게 말한 것인지 모델이 결론을 내린 것인지 알 수 없습니다. 결국 모든 항목이 동일하게 권위 있어 보이는 목록을 감사하게 됩니다.

긴 커스텀 지침(custom instructions) 블록 작성하기. 이는 기본 수준을 높여줍니다. 명시적으로 더 많이 서술할수록 모델이 지어내야 할 부분이 줄어듭니다. 단일 조치로는 가장 레버리지가 높은 수동 단계입니다. 한계점은 이 블록의 크기가 작고, 당신과 함께 성장하지 않으며, 단 하나의 제품에만 적용된다는 점입니다. 사용하는 다른 모든 도구마다 동일한 사실을 다시 입력해야 합니다.

모델에게 스스로의 불확실성을 표시하도록 요청하기. 이는 이번 연구에서 구체적으로 한계를 지적한 임시방편입니다. 단일 모델 내에서 자체 감사는 어느 정도 신호를 주므로 "이 중 내가 실제로 말한 것은 무엇인가?"라고 묻는 것이 무의미하지는 않습니다. 하지만 저자들의 결론은 그 방향성에 대해 모호함이 없습니다. 자가 보고는 신뢰를 구축할 수 있는 기반이 아닙니다.

누적을 피하기 위해 새 채팅 시작하기. 누적을 막는 데는 효과적이지만 비용이 많이 듭니다. 날조된 컨텍스트를 컨텍스트가 전혀 없는 상태와 맞바꾼 셈이며, 이는 원래 메모리 기능이 해결하려던 문제로 되돌아가는 것입니다.

이 논문이 제안하는 권장 사항이 바로 설계 원칙입니다. 논문은 신뢰할 수 있는 개인화를 위한 더 확실한 기반으로 모델의 자가 보고가 아닌 외부 검증을 제시하며, 언급된 사실과 근거 없는 추론을 분리하는 출처 추적을 주장합니다. 즉, 연결되지 않은 추론은 기정사실이 아닌 가설로 취급해야 한다는 것입니다.

이는 모델 외부에 존재하는 메모리 레이어에 대한 설명입니다. 더 똑똑한 어시스턴트가 아니라, 당신이 소유하고 모든 어시스턴트가 읽을 수 있으며 내용을 한 줄씩 검사할 수 있는 원본 자료 저장소입니다. 기록에 "3월 3일에 업로드한 문서에 따른 분기별 검토 프로세스"라고 되어 있으면 모델은 근거로 삼을 수 있는 확실한 정보를 갖게 됩니다. 기록에 아무것도 없다면, 출력된 구체적인 내용이 다른 곳에서 지어낸 것임을 최소한 알 수 있습니다.

이 방법이 해결해 주는 것과 해결해 주지 못하는 것을 명확히 하자면, 외부 메모리 레이어가 모델의 환각(hallucination)을 완전히 막아주지는 않습니다. 달라지는 점은 당신에 대한 주장이 더 이상 생성 프로세스 내부에 갇혀 있지 않다는 것입니다. 그것들은 당신이 읽고, 수정하고, 인용할 수 있는 파일이 됩니다. MemoryLake는 바로 이 작업을 위해 구축되었습니다. 어시스턴트가 읽는 단 하나의 메모리 레이어로, 모델이 당신에 대해 작성한 요약본이 아니라 당신이 직접 입력한 문서와 사실을 보관합니다.

설정은 세 단계로 진행됩니다.

1단계: API 키 생성

키를 생성하고 약 30초 만에 첫 번째 요청을 보낼 수 있습니다. 이 키는 어시스턴트와 에이전트가 메모리를 읽고 쓰는 데 사용할 자격 증명이므로, 동기화되거나 공유되는 설정 파일에 붙여넣지 말고 환경 변수나 시크릿 관리자에 보관해야 합니다.

2단계: 첫 번째 메모리 업로드

당신의 상황을 실제로 설명하는 문서, 이미지, 파일을 업로드하세요. 직접 작성한 역할 설명, 고객 브리프, 스타일 가이드, 의사결정 문서 등이 해당됩니다. 요약본이 아닌 원본 자료부터 시작하세요. 요약본은 추론이 개입할 수 있는 또 하나의 레이어일 뿐이며, 이 작업의 핵심은 실제로 말한 내용의 사본을 유지하는 것입니다.

3단계: AI 및 에이전트 연결

MCP 또는 API를 통해 Claude, Codex, OpenClaw 및 기타 에이전트에 메모리 액세스 권한을 부여하세요. MCP를 기본 지원하는 도구의 경우, 해당 도구의 MCP 설정에 서버를 추가합니다. MCP가 없는 소비자용 채팅 제품(ChatGPT, Perplexity 등)의 경우, API를 통해 관련 메모리를 검색하여 프롬프트나 모델을 호출하는 워크플로우에 주입합니다. 어느 쪽이든 이제 어시스턴트는 당신이 직접 열어볼 수 있는 기록을 바탕으로 답변하게 됩니다.

출력 결과의 자신감이 반드시 줄어드는 것은 아닙니다. 달라지는 점은 그 자신감이 어디서 나왔는지 알 수 있게 된다는 것입니다.

바이오를 요청하면 업로드한 역할 설명에 기반한 답변을 받게 되며, 모델이 지어낸 부분은 저장소의 그 어떤 내용과도 연결되어 있지 않음을 명확히 알 수 있습니다. 서로 다른 두 어시스턴트에게 동일한 질문을 던져도 동일한 원본 자료를 참조하므로, 당신에 대해 서로 다르게 상상된 두 가지 버전을 마주하지 않게 됩니다. 이는 여러 도구에 걸친 단일 메모리 문제의 실질적인 해결책입니다.

구조적인 이유로 누적 현상도 멈춥니다. 저장소가 모델이 작성한 당신에 대한 실시간 요약본이 아니라 문서와 명시된 사실을 보관할 때, 다섯째 주의 답변은 첫째 주의 답변과 동일한 출처를 바탕으로 구축됩니다. 오래된 추론이 파일에 남아있다고 해서 사실로 격상되지 않습니다. 애초에 파일에 기록된 적이 없기 때문입니다.

그리고 무언가 잘못되었을 때, 수정은 진짜 수정이 됩니다. 증상이 아니라 출처를 고치게 되며, 이는 내일이면 똑같은 추측을 다시 만들어낼 어시스턴트를 매번 바로잡는 것과는 완전히 다른 작업입니다.

결론이 아닌 출처를 저장하세요

"고객은 격식 있는 톤을 선호함"이라고 적는 대신 실제 브리프 문서를 업로드하세요. 결론은 맞을 수 있지만, 단순한 주장으로 저장되면 모델이 스스로 결정한 내용과 구별할 수 없습니다. 날짜가 포함된 문서로 저장되면 그것은 증거가 됩니다. 이것이 논문이 주장하는 출처 원칙의 실질적인 형태입니다.

오류가 아닌, 지나치게 구체적인 내용을 감사하세요

어시스턴트가 당신에 대해 무엇을 알고 있는지 검토할 때 오류만 찾지 마세요. 동네 이름, 가족 상황, 습관, 성격 분석 등 의심스러울 정도로 구체적인 세부 사항을 찾으십시오. 날조는 바로 이런 부분에 집중됩니다. 작업이 가장 필요로 하지만 당신의 기록이 가장 지원하지 않는 세부 사항이기 때문입니다. 모호하면서 맞는 것은 괜찮지만, 출처 없이 구체적인 것은 날조의 강력한 징후입니다.

모델의 확신도를 검증 기준으로 삼지 마세요

단일 어시스턴트 내에서 어떤 주장이 근거가 있는지 묻는 것은 어느 정도 의미가 있습니다. 하지만 여러 어시스턴트 간에 비교할 때는 예상과 정반대의 결과를 얻게 됩니다. 따라서 자가 평가는 한 도구 내부의 약한 신호로만 취급하고, 특정 제품을 다른 제품보다 신뢰하는 이유로 삼아서는 안 됩니다. 효과적인 유일한 검증 방법은 기록을 직접 확인하는 것입니다.

The Personalization Mirage 연구에서 흥미로운 점은 모델이 말을 지어낸다는 사실 자체가 아닙니다. 그건 누구나 알고 있었습니다. 진짜 흥미로운 점은 개인화를 해결하기 위해 만들어진 바로 그 레이어에서 이런 일이 발생하며, 연구에 참여한 어떤 모델도 이를 피하지 못했다는 점, 그리고 모델에게 스스로를 감시하도록 요청하면 모델의 신뢰도 순위가 실제와 정반대로 정렬된다는 점입니다.

이 발견이 시사하는 대응책은 더 나은 프롬프트가 아닙니다. 기록과 생성기를 분리하는 것입니다. 당신이 실제로 말한 내용을 직접 읽고 수정할 수 있는 저장소에 보관하고, 어시스턴트가 이를 읽도록 하십시오. 그리고 공백을 채우는 것이 본업인 시스템에게 어느 부분이 공백이었는지 말해달라고 요청하는 일을 멈추십시오. 그래야 답변의 구체적인 내용이 무언가로 추적 가능해지며, 그렇지 않은 내용은 날조된 것임이 명확히 드러나게 됩니다.