LLM 평가자(LLM-as-a-judge)는 답변을 생성한 모델과 별도로 응답을 채점하는 모델이다. 지표별 평가 프롬프트(evaluation prompt)에 따라 점수와 이유를 출력하지만, 그 판정이 자동으로 정답이 되는 것은 아니다. 평가 기준을 고정하고 사람이 검토한 표본과 비교해 평가자 판정이 기준에 맞는지 교정(calibration)한다. 콘솔 미리보기에 보이는 일부 예시와 Amazon S3에 저장된 전체 보고서도 구분해서 살펴본다. 평가자 모델의 버전이나 프롬프트를 바꾸면 점수의 기준도 달라질 수 있으므로 이전 점수와 무조건 직접 비교하지 않는다.
적용 범위: 평가자 버전·프롬프트와 사람 표본 기준을 고정해야 전후 점수를 비교할 수 있다.