AIP-C01 / 주제별 해설

입력 토큰 계산의 정확도와 지원 경계

제품 설명 기준 2026.09.20–21 · 한영 용어 대조 2026.09.25 · 약 3분 읽기

공식 자료를 바탕으로 쓴 비공식 해설입니다. 제품별 지원 조건은 적용 전에 확인하고, 예시 수치는 해당 상황의 설명으로 읽어주세요.

이 문서의 목차 1개 절

CountTokens는 지정한 모델에 동일한 입력을 보냈을 때의 입력 토큰(input tokens) 수를 계산한다. 앞으로 생성할 출력 토큰(output tokens)의 수까지 정확히 예측하는 기능은 아니다. 출력 비용을 계획할 때는 생성 상한과 예상량을 정하고 실제 사용량을 따로 확인한다. ‘문자 수/4’나 ‘단어 수×1.3’ 같은 방식은 일부 언어와 모델에 대한 거친 추정이며, 한국어를 포함한 모든 입력에 적용할 수 있는 토크나이저(tokenizer)는 아니다.

runtime의 InvokeModel과 Converse는 입력 구조가 다르므로 실제 추론(inference)에 사용할 system/messages와 같은 입력으로 계산한다. 모델별 지원 확인이 필요하다. 본문은 일부 Claude/CRIS 전용 모델에는 runtime CountTokens가 없을 수 있고 mantle의 Claude 전용 count_tokens 경로를 별도 설명한다. endpoint·자격 증명 및 액세스 관리(AWS Identity and Access Management, IAM) 서비스 접두사·요청·응답·오류 형식·SDK 지원이 같지 않다. 비 Claude 모델에 Claude 전용 경로를 적용하지 않는다. 본문 모델명과 예제 코드의 Haiku 버전이 다르므로 예제를 현재 지원표의 대체물로 사용하지 않는다.

토큰 계산(token counting) 요청도 모델의 입력 스키마(input schema)를 검증하므로 지원하지 않는 필드는 거절될 수 있다. 계산에 성공했다는 사실만으로 추론(inference) 권한, 가용 용량이나 콘텐츠 안전성이 확인되는 것은 아니다. 토큰 수를 계산한 뒤 프롬프트(prompt)를 수정했다면 입력이 바뀐 것이므로 이전 값을 그대로 사용하지 않는다. 실제 API 호출과 SDK 동작은 사용할 모델과 환경에서 검증한다.

적용 범위: 모델·리전별 지원표와 runtime·mantle의 인증 및 요청 형식은 별도 확인이 필요하다. 토큰 계산 성공은 추론 권한이나 가용 용량을 보장하지 않는다.

공식 출처와 이어 읽기

학습 기록은 이 브라우저에만 저장되며 동기화되지 않습니다.