자동 평가 보고서를 읽을 때는 먼저 입력 프롬프트(prompt) 수와 성공한 응답 수를 비교한다. 응답하지 못한 요청을 빼고 성공한 결과만으로 지표를 계산하면 실제보다 품질이 좋아 보일 수 있으므로 오류와 미응답도 따로 보고한다. BERTScore는 문맥 임베딩(contextual embedding)과 코사인 유사도(cosine similarity)로 생성 문장과 참조 문장(reference text)의 단어를 대응시킨다. 문자열이 정확히 일치하는지만 보는 지표는 아니다. 입력 표현을 변형했을 때 점수가 얼마나 달라지는지 비교하면 모델의 견고성(robustness)을 살피는 데 도움이 된다.
F1 점수(F1 score)는 정밀도(Precision)와 재현율(Recall)의 조화 평균이다. 일반적인 분류 F1은 2PR/(P+R)이며 P와 R을 나누는 수식이 아니다. 평가 보고서의 F1이라는 이름만 보고 모든 과업의 토큰(token) 대응·평균 방식까지 같다고 가정하지 않는다. 분류 평가 지표와 해당 과업의 계산 정의를 함께 확인한다.
적용 범위: 과업별 계산·변형 방식·미응답 처리를 확인한다. F1은 정밀도와 재현율의 조화 평균이다.
공식 출처와 이어 읽기
용어 확인: 임베딩(embedding).