OpenAI 프롬프트 캐싱 수명 12시간으로 연장 — 캐시된 접두사에 유지할 항목과 에이전트가 여전히 망각하는 것 (2026)

이 변경 사항은 Responses API의 GPT-5.6 및 이후 모델에 적용됩니다. 수명은 prompt_cache_options.ttl로 설정하며, 기본값인 30m과 12h 두 가지 값을 허용합니다. OpenAI의 가이드는 각각을 언제 사용해야 하는지 설명합니다. 30분 수명은 "컨텍스트를 자주 재사용하는 대화 및 에이전트 단계"를 위한 것입니다. 12시간 수명은 "더 긴 간격으로 재사용되는 안정적인 지침 또는 참조 자료"를 위한 것입니다.

전체 요청 또는 개별 브레이크포인트에 대해 수명을 설정할 수 있습니다. 가이드에 따르면 "요청 수준의 ttl은 암시적 브레이크포인트와 자체 ttl이 없는 명시적 브레이크포인트에 적용됩니다." 명시적 브레이크포인트는 prompt_cache_breakpoint.ttl을 사용하여 이를 재정의할 수 있습니다.

12시간 캐시에 쓰는 비용은 30분 캐시보다 더 높은 쓰기 요율로 청구되며, 읽기 비용은 둘 다 동일합니다. OpenAI의 권장 사항은 비교해 보는 것입니다. "더 높은 12시간 쓰기 요율과 30분 보장 기간이 만료된 후 접두사를 다시 쓰는 비용을 비교해 보세요." 사용하는 모델의 현재 요율은 OpenAI 요금 페이지에서 확인하세요.

이전 모델은 자체 설정을 유지합니다. 가이드에 따르면 이러한 새로운 설정은 "이전 모델의 prompt_cache_retention 매개변수를 변경하지 않으며", 마이그레이션 체크리스트에서는 GPT-5.6 이상으로 전환할 때 "prompt_cache_retention을 prompt_cache_options.ttl로 교체"하라고 안내합니다.

캐시는 프롬프트를 텍스트로 저장하지 않습니다. OpenAI는 모델이 입력을 처리하는 동안 중간 키-값(key-value) 상태를 계산하며, "프롬프트 캐싱은 재사용 가능한 접두사(프롬프트 시작 부분의 변경되지 않은 토큰)에 대해 해당 상태를 보존합니다"라고 설명합니다. 또한 "프롬프트 캐시는 토큰 자체가 아니라 키-값(KV) 텐서를 저장합니다"라고 덧붙입는다.

이에 따라 두 가지 결과가 따릅니다. 첫째, 일치가 정확해야 합니다. "캐시를 재사용하려면 렌더링된 접두사 전체가 일치해야 합니다." 둘째, 캐시는 모델이 해당 접두사로 수행하는 작업을 변경하지 않습니다. FAQ에서는 "프롬프트 캐싱은 모델이 출력 토큰을 생성하는 방식을 변경하지 않습니다"라고 명시하고 있습니다.

즉, 캐싱은 모델이 이미 처리한 입력에 대한 비용과 지연 시간을 줄이기 위한 것입니다. 정보를 저장하는 공간이 아니며, 모델이 무언가를 기억하도록 만들지도 않습니다.

이름에 포함된 숫자는 최소 시간입니다. OpenAI의 가이드에 따르면 "OpenAI는 요청된 최소 시간보다 더 오래 항목을 유지할 수 있으며", 이 설정은 "삭제 기한을 설정하거나 최대 데이터 보존 정책을 변경하지 않습니다." 데이터 제어 페이지에서도 동일한 구분을 적용합니다. prompt_cache_options.ttl은 "최대 애플리케이션 상태 보존 기간이 아니라 최소 캐시 수명을 제어합니다."

최소 수명은 가격 책정 자격에 관한 것이지, 재사용을 보장하는 것은 아닙니다. "최소 수명은 캐시 읽기 요금 적용 자격을 결정합니다. 모든 요청이 저장된 KV 텐서를 재사용하거나 지연 시간이 단축된다는 것을 보장하지는 않습니다." 위치도 중요합니다. "캐시된 상태는 개별 머신에 저장되며", "요청은 만료되지 않은 일치하는 항목을 보유한 머신에 도달해야만 캐시된 접두사를 재사용할 수 있습니다." 캐시의 범위도 제한적입니다. "캐시는 조직 간에 공유되지 않으며 지역 처리 경계를 넘어 재사용할 수 없습니다."

읽기 작업이 수행되어도 12시간 타이머가 재시작되지 않습니다. "30분 읽기는 보장 범위를 해당 읽기 후 최소 30분으로 갱신합니다." 해당 읽기가 12시간 보장 범위의 항목에 도달하면, 해당 항목은 더 늦은 만료 시간을 유지하며, 가이드에서는 "12시간 타이머를 재시작하거나 다른 쓰기 요금을 발생시키지 않습니다"라고 설명합니다.

업그레이드 시 새로운 쓰기 비용이 발생합니다. "유효한 30분 보장 범위를 12시간으로 업그레이드하면 이전 쓰기에 대한 크레딧 없이 해당 토큰에 대해 새로운 12시간 쓰기 요금이 청구됩니다." 사용량이 많은 접두사를 30분에서 12시간으로 전환하는 경우, 전환 후 첫 번째 요청에서 새로운 쓰기 비용을 지불하게 됩니다.

또한 만료를 수동으로 제어할 수 없습니다. "현재 수동 캐시 삭제 기능은 제공되지 않습니다."

OpenAI의 권장 사항은 프롬프트의 구성 요소가 얼마나 자주 변경되는지에 따라 프롬프트를 분할하는 것입니다. 하루 종일 재사용하는 자료는 12시간 브레이크포인트를 적용하여 프롬프트 시작 부분에 배치하세요. 더 자주 변경되는 세션 컨텍스트에는 기본값인 30분을 부여합니다. 현재 질문은 마지막 브레이크포인트 뒤에 남겨두며, 명시적 전용 모드에서는 "캐시 쓰기 요금이 발생하지 않습니다."

수명이 긴 접두사에는 다음과 같은 항목이 적합합니다.

• 에이전트의 역할과 규칙을 정의하는 개발자 지침(Developer instructions).
• 가이드에서 안정적으로 유지할 것을 권장하는 도구 정의(Tool definitions): "도구 정의, 순서 및 스키마를 보존하세요."
• 에이전트가 대부분의 요청에서 참조하는 참조 자료(Reference material).

여기에 속하지 않는 것은 사용자별로 또는 매일 변경되는 모든 항목입니다. 가이드에서는 다음과 같이 구체적으로 명시하고 있습니다. "개발자 지침이나 공유 자료에 타임스탬프, 사용자 특정 콘텐츠 또는 기타 동적 콘텐츠가 포함되어 있는 경우, 시작 부분보다는 끝 부분에 배치하거나 이후의 대화 메시지로 이동하세요."

두 가지 구조적 세부 사항이 중요합니다. "최상위 instructions에는 명시적 브레이크포인트를 포함할 수 없으므로", 표시하려는 재사용 가능한 지침은 "개발자 메시지 내부의 input_text 블록"에 들어갑니다. 그리고 접두사는 최소 크기를 넘어야 합니다. GPT-5.6 및 이후 모델의 경우, 가이드에서는 이를 1,024개의 가시적 입력 토큰으로 설정하고 있습니다.

첫 번째 토큰부터 정확히 일치해야 하므로, 브레이크포인트 이전의 모든 변경 사항은 그 이후의 내용을 무효화합니다. "브레이크포인트 이전에 콘텐츠나 관련 설정이 변경되면, 해당 변경 이후의 접두사는 기존 캐시 항목과 일치할 수 없습니다."

여기에는 텍스트뿐만 아니라 설정도 포함됩니다. 가이드에서는 캐시된 접두사에 영향을 줄 수 있는 설정으로 model, tools, parallel_tool_calls, text.format, reasoning.effort, text.verbosity, context_management 등을 나열합니다. GPT-6 모델에서는 요청 수준 설정을 변경하는 대신 configuration_update 항목을 추가하여 추론 노력을 변경할 것을 제안합니다.

대화 기록을 다시 쓰는 것도 캐시를 깨뜨립니다. 가이드에서는 "이전 대화 차례를 다시 쓰는 대신 새 메시지를 추가하라"고 조언합니다. "요약, 압축 또는 컨텍스트 잘림은 접두사를 변경하고 캐시 재사용을 초기화할 수 있기 때문"입니다. Claude Code의 유휴 압축에 대한 가이드는 캐시가 만료되기 직전에 압축이 발생하는 반대편의 동일한 절충안을 보여줍니다.

메시지를 확장하는 것만으로도 캐시가 깨질 수 있습니다. 한 요청이 하나의 콘텐츠 블록이 포함된 메시지로 끝나고 다음 요청이 동일한 메시지에 내용을 추가하는 경우, 이전 끝점은 이제 메시지 끝이 아니라 메시지 내부가 되며, 여기에 명시적 브레이크포인트가 없으면 해당 시점에 저장된 접두사는 재사용되지 않습니다.

더 긴 캐시가 해결해 주지 못하는 부분이 바로 이 부분입니다. OpenAI의 대화 상태 가이드는 기본부터 시작합니다. "각 텍스트 생성 요청은 독립적이고 상태가 없지만(stateless), 텍스트 생성 요청에 매개변수로 추가 메시지를 제공하여 다중 턴 대화를 구현할 수 있습니다." 모델이 알아야 할 모든 정보는 직접 전송하든 저장된 대화 상태를 참조하든 요청을 통해 모델에 도달해야 합니다.

캐시는 안정적인 접두사를 다시 보낼 때 비용을 저렴하게 만들어 줄 뿐입니다. 여기에 아무것도 추가하지 않습니다. 에이전트가 화요일 아침에 고객이 요금제를 변경했다는 사실을 알게 되더라도, 그 사실은 오전 8시에 작성한 12시간 접두사에는 포함되어 있지 않습니다. 이를 포함하려면 대화에 추가하거나 접두사를 편집해야 합니다. 접두사를 편집하는 것은 브레이크포인트 이전의 변경이므로 새로운 쓰기 비용이 발생합니다.

따라서 설계상의 질문이 달라집니다. 수명이 긴 접두사는 공유 자료를 몇 시간 동안 안정적으로 유지할 때 이점을 제공합니다. 하루 동안 발전하는 에이전트는 대화 내부, 애플리케이션이 검색하는 저장소, 또는 업데이트하여 주기적으로 접두사에 다시 통합하는 선별된 목록 등 다른 곳에 속하는 사실들을 축적합니다. 대화의 경우 OpenAI의 Conversations API가 하나의 방법이 될 수 있습니다. 가이드에 따르면 이 API는 "자체 영구 식별자를 가진 장기 실행 객체로 대화 상태를 유지"할 수 있습니다. 대화 전반에 걸쳐 유지되는 영구적인 사실의 경우, 직접 관리하는 소스가 필요합니다. 개발자를 위한 AI 메모리 API 비교에서 다양한 옵션을 확인해 보세요.

모든 것을 12시간 접두사에 넣기. 사용자의 이름, 오늘의 날짜, 최신 티켓 등. 이러한 정보는 매번 변경되며, 브레이크포인트 이전의 각 변경 사항은 새로운 쓰기를 강제합니다.

12시간이 정확히 12시간을 의미한다고 가정하기. 이는 가격 책정 자격을 위한 최소 시간입니다. 항목이 더 오래 유지될 수도 있고, 해당 항목이 있는 머신에 도달하지 못하면 요청이 캐시 미스될 수도 있습니다.

읽기 작업이 12시간 창을 연장할 것이라 기대하기. 읽기는 보장 범위를 읽기 후 최소 30분으로 연장할 뿐이며, 12시간 타이머를 재시작하지 않습니다.

캐시를 에이전트의 메모리로 취급하기. 캐시는 전송하는 접두사에 대해 처리된 상태를 보관할 뿐입니다. 자체적인 사실을 보관하지 않으며 출력에 대해 아무것도 변경하지 않습니다.

측정 없이 설정을 전환하기. 12시간 쓰기는 비용이 더 많이 듭니다. 이득이 되는지 여부는 접두사가 얼마나 자주 재사용되는지, 그리고 간격이 얼마나 긴지에 따라 달라집니다.

1단계: 프롬프트를 안정적, 세션, 현재 요소로 분류하기

에이전트의 실제 요청 하나를 가져와 각 부분을 표시합니다.

• 안정적(Stable): 사용자 간에 동일하며 몇 시간 동안 그대로 유지되는 지침, 도구 정의 및 참조 자료.
• 세션(Session): 향후 몇 분 동안 재사용되는 현재 대화 또는 작업의 컨텍스트.
• 현재(Current): 이번 요청의 새로운 질문 또는 도구 결과.

타임스탬프, 사용자 식별자 또는 요청당 데이터가 포함된 모든 항목은 안정적인 부분에서 제외됩니다. 안정적인 부분이 최소 캐시 가능 크기보다 작으면, 가이드에서는 "이를 단축하거나 유용하고 안정적인 지침, 예시 또는 참조 자료로 확장"하고 결과를 측정할 것을 제안합니다.

2단계: 브레이크포인트 배치 및 결과 측정

안정적인 부분을 개발자 메시지 내부에 먼저 배치하고, 명시적 브레이크포인트를 12h로 설정합니다. 그 뒤에 기본값인 30분으로 세션 컨텍스트를 배치합니다. 마지막 브레이크포인트 뒤에 현재 입력을 남겨둡니다. GPT-5.6 및 이후 모델에서는 하나의 요청이 최대 4개의 캐시 쓰기를 생성할 수 있으므로 몇 개의 레이어를 구성할 여유가 있습니다.

그런 다음 측정합니다. usage 객체는 cached_tokens 및 cache_write_tokens를 보고하며, 이 모델들의 경우 cache_write_tokens_details가 쓰기를 ttl_30m_tokens와 ttl_12h_tokens로 세분화하여 보여줍니다. 12시간 접두사가 얼마나 자주 쓰이는지 관찰하세요. 하루에 여러 번 다시 쓰인다면 그 안에서 무언가 변경되고 있는지 확인해 보세요.

3단계: 에이전트가 학습한 사실을 직접 관리하는 소스에 보관하기

새로운 지식이 저장될 위치를 결정합니다. 수명이 짧은 컨텍스트는 대화에 유지됩니다. 고객의 요금제, 팀이 내린 결정, 사용자가 제공한 수정 사항 등 대화보다 오래 유지되어야 하는 사실은 직접 선별한 저장소로 이동합니다.

재사용 패턴에 맞는 일정에 따라 모든 요청에 필요한 사실을 안정적인 접두사에 통합합니다. 이렇게 하면 모든 새로운 세부 사항에 의해 쓰기가 트리거되는 대신, 다시 쓰기가 의도적인 이벤트가 됩니다. 나머지는 요청당 검색하여 브레이크포인트 뒤에 배치합니다.

12시간 캐시는 프롬프트의 안정적인 부분이 에이전트의 일정이 아니라 사용자의 일정에 따라 변경될 때 가장 잘 작동합니다. 즉, 에이전트가 의존하는 사실 정보는 캐시 및 단일 대화 모두와 분리된 별도의 공간이 필요함을 의미합니다.

MemoryLake는 이러한 사실들을 직접 관리하는 하나의 목록에 보관하여 Codex, Claude Code, ChatGPT 등 연결된 어시스턴트가 사용할 수 있도록 하는 메모리 레이어입니다.

항목은 본인의 언어로 직접 작성합니다. OpenAI의 프롬프트 캐시, API 대화, 저장된 응답 또는 공급업체의 저장소에서 아무것도 읽거나 쓰거나 삭제하지 않습니다. 시스템 외부에 허용되지 않는 비밀번호나 개인 데이터는 제외하세요.

1단계: API 키 생성

로그인하고 대시보드에서 키를 생성합니다. 이 키는 MemoryLake 워크스페이스에 속하며 OpenAI API 키와는 별개입니다.

2단계: 첫 번째 메모리 업로드

해결책의 3단계에서 분류한 사실들, 즉 에이전트가 대화 전반에 걸쳐 알아야 할 결정 사항, 수정 사항 및 참조 지점부터 시작하세요. 마지막 접두사 재빌드 이후 무엇이 변경되었는지 확인할 수 있도록 항목당 하나의 요소를 날짜와 함께 기록합니다.

3단계: AI 및 에이전트 연결

사용하는 어시스턴트와 코딩 에이전트를 연결합니다. 안정적인 접두사를 재빌드할 때가 되면, 이전 대화에서 다시 구성하는 대신 하나의 목록에서 작업할 수 있습니다.

첫 번째 차이점은 12시간 접두사가 안정적으로 유지된다는 것입니다. 사용자별 및 일별 데이터가 제외되므로 사용자가 재빌드할 때만 변경되며, usage 객체의 쓰기 횟수가 이를 보여줍니다.

두 번째는 새로운 지식이 저장될 명확한 대상이 생긴다는 것입니다. 하루 중간에 캐시된 접두사를 편집하는 대신, 대화나 직접 관리하는 목록으로 들어갑니다.

세 번째는 비용 결정을 측정할 수 있게 된다는 것입니다. 추측하는 대신 실제 트래픽에서 12시간 쓰기와 30분 쓰기를 비교할 수 있습니다. 프롬프트를 다듬는 것과 컨텍스트를 유지하는 것 사이의 더 넓은 절충안에 대해서는 짧은 프롬프트만으로는 충분하지 않은 이유에 대한 가이드에서 다른 요인들을 다룹니다.

몇 시간 동안 동일하게 유지되는 콘텐츠에만 12시간을 사용하세요. 지침, 도구 및 공유 참조 자료가 이에 해당합니다.

타임스탬프와 사용자 데이터를 안정적인 접두사에서 제외하세요. 끝부분이나 이후 메시지로 이동시키세요.

다시 쓰는 대신 추가하세요. 압축 및 잘림은 접두사를 변경합니다.

재사용 가능한 지침은 개발자 메시지에 넣으세요. 최상위 instructions에는 명시적 브레이크포인트를 설정할 수 없습니다.

쓰기 세부 정보를 확인하세요. ttl_12h_tokens는 수명이 긴 접두사가 얼마나 자주 다시 쓰이고 있는지 보여줍니다.

일정에 따라 접두사를 재빌드하세요. 새로운 사실을 하나씩 추가하지 말고 의도적으로 통합하세요.

영구적인 사실은 캐시 외부에 보관하세요. AI 에이전트에게 부여할 메모리 양에 대한 가이드에서 보관할 항목과 제외할 항목을 다룹니다.

OpenAI의 12시간 프롬프트 캐싱을 사용하면 에이전트가 캐시된 입력 요율로 더 긴 간격 동안 안정적인 지침, 도구 및 참조 자료를 재사용할 수 있습니다. 공식 문서는 그 한계에 대해 신중하게 설명합니다. 12시간은 가격 책정 자격을 위한 최소 시간일 뿐 삭제 기한이나 재사용 보장이 아니며, 읽기 작업이 12시간 타이머를 재시작하지 않고, 브레이크포인트 이전의 모든 변경은 일치를 깨뜨립니다.

또한 캐시는 지식을 보관하지 않습니다. 각 요청은 여전히 모델이 알아야 할 내용을 전달해야 합니다. 변경 빈도에 따라 프롬프트를 분할하고, 안정적인 부분에만 12시간을 부여하며, 에이전트가 학습한 사실은 직접 관리하는 소스에 보관하고 본인의 일정에 따라 통합하세요.