추론 파라미터(inference parameters)는 응답을 생성할 때 다음 토큰을 어떻게 고르고 언제 생성을 멈출지 조절한다. 온도(temperature)는 토큰(token)의 확률 분포를 바꾼다. Top K는 확률이 높은 후보를 몇 개까지 고려할지 정하고, Top P는 후보들의 누적 확률(cumulative probability)을 기준으로 선택 범위를 제한한다. 최대 출력 토큰(maximum output tokens)과 중지 시퀀스(stop sequence)는 종료 조건이다. 온도를 낮춰도 답이 사실인지 검증되거나 개인정보가 보호되는 것은 아니다. 모델마다 지원하는 필드와 값의 범위가 다르므로 같은 설정을 모든 모델에 그대로 복사하지 않는다.
적용 범위: 허용 파라미터와 값의 범위는 모델마다 다르다. 낮은 온도로 사실 검증이나 개인정보 보호를 대신하지 않는다.