자동 모델 평가(automatic model evaluation)에서 ‘정확도(Accuracy)’는 여러 과업의 평가를 묶는 상위 범주로 쓰이기도 한다. 요약(text summarization)에는 문맥 임베딩(contextual embedding) 기반 유사도인 BERTScore를, 질문 응답(question answering)에는 NLP-F1을, 분류(classification)에는 분류 정확도(classification accuracy)를 사용한다. 따라서 보고서에서 같은 ‘정확도’ 범주에 있더라도 무엇을 비교하고 어떤 수식으로 계산했는지 과업별로 확인해야 한다.
NLP-F1은 해당 질문 응답 평가에서 사용하는 지표 이름이다. 분류의 F1과 이름이 비슷해도 평가 단위와 계산 방법을 확인해야 한다. 내장 영문 데이터에서 좋은 결과를 얻었다고 한국어 업무 품질이 입증되는 것은 아니다.
적용 범위: 내장 데이터세트의 언어와 과업별 산식이 실제 업무 평가에 맞는지 확인한다.