프롬프트 캐싱(prompt caching)은 반복되는 입력 접두사의 처리 결과를 재사용하는 것이며 완성된 답변을 반환하는 응답 캐시와 다르다. 안정적인 지침·참고자료를 앞에 놓고 바뀌는 질문을 뒤에 배치하면 재사용 기회가 커진다.
암시적 프롬프트 캐싱(implicit prompt caching)은 조건을 충족하는 입력 접두사(prefix)를 서비스가 자동으로 재사용하는 방식이다. 명시적 프롬프트 캐싱(explicit prompt caching)은 지원되는 캐시 제어나 체크포인트(checkpoint)로 재사용할 구간을 지정한다. 어느 쪽도 캐시 적중(cache hit)을 보장하지는 않는다. 최소 누적 토큰(token) 수에 못 미치거나 접두사가 바뀌었을 때, 유효 기간(time to live, TTL)이 지났을 때, 모델과 API의 지원 조건을 충족하지 못했을 때는 추론(inference)이 성공해도 캐시가 재사용되지 않을 수 있다.
캐시 쓰기가 일반 입력보다 비쌀 수 있으므로 읽기 절감액과 쓰기 비용을 함께 비교한다. 문서상 온디맨드 엔드포인트에 지원되며 배치 추론 API는 지원되지 않는다. 긴 TTL이 유용한 일괄성 업무라는 표현을 배치 API 지원으로 혼동하지 않는다. 모델별 TTL·최소 토큰·가격 수치는 전역 공통값으로 암기하지 않는다.
체크포인트(checkpoint)의 최소 토큰 수는 그 지점까지 누적된 접두사의 토큰 수를 기준으로 한다. tools → system → messages 순서에서 앞부분이 바뀌면 뒷부분의 캐시 재사용에도 영향을 준다. 유효 기간(time to live, TTL), 최대 체크포인트 수와 쓰기 요금은 모델별로 확인한다. Converse에서 inputTokens가 캐시를 사용하지 않은 입력만 나타내는 경우, 총 입력은 inputTokens+cacheReadInputTokens+cacheWriteInputTokens로 확인한다. 1시간 TTL을 활용하는 장기 작업 예시가 있다고 해서 배치 추론 API를 지원한다는 뜻은 아니다.
적용 범위: 선택형 API·코드 예시와 모델 카드(model card) 전체를 검증한 실행 안내는 아니다. 모델별 TTL·요금·최소 토큰을 확인한다.
공식 출처와 이어 읽기
용어 확인: 추론(inference).