텍스트 요약(text summarization)을 평가할 때는 중요한 정보가 빠졌는지, 요청과 관련되는지, 문장이 자연스러운지, 내용이 정확한지를 나누어 살핀다. 각각 정보 손실(information loss), 관련성(Relevance), 유창성(fluency), 정확성(correctness)과 연결된다. 의미 유사도(semantic similarity)가 높더라도 날짜나 금액 같은 핵심 값이 틀릴 수 있다. 따라서 업무에 중요한 필드를 따로 검사하고, 과업별 계산 방법은 자동 평가 보고서 해석과 함께 확인한다.
적용 범위: 계산 상세는 자동 평가 보고서 해석과 함께 읽는다.
공식 출처와 이어 읽기
용어 확인: 관련성(Relevance).