모델 평가(model evaluation)는 정확도 하나만으로 끝나지 않는다. 프로그램 기반 평가(programmatic evaluation)는 같은 데이터세트(dataset)와 계산 기준으로 반복 수행할 수 있어야 한다. 사람의 평가(human evaluation)는 해당 분야에 적합한 답인지, 표현이 실제로 유용한지 등을 살필 수 있다. LLM 평가자(LLM-as-a-judge)는 다른 LLM이 답변에 점수와 설명을 부여하는 방법이다. 평가 속도를 높일 수 있지만 평가 모델도 오류나 편향을 보일 수 있으므로 그 판정 기준을 검증해야 한다.
검색 증강 생성(Retrieval Augmented Generation, RAG)을 평가할 때는 검색 평가(retrieval evaluation)와 생성 평가(generation evaluation)를 나눈다. 검색 단계에서는 필요한 근거를 찾았는지, 생성 단계에서는 그 근거를 올바르게 활용해 답했는지 확인한다. 평가 데이터에는 질문뿐 아니라 기대하는 검색 내용과 정답 데이터(ground truth) 등을 넣어 비교한다. 필요한 정보가 검색되지 않았다면 생성 모델만 바꾸기보다 데이터 수집과 검색부터 조사해야 한다.
자체 예시: 반품 규정 질문에서 올바른 규정을 검색했지만 환불 기간을 틀리게 답하면 생성·근거 활용을, 오래된 규정만 검색하면 데이터 최신성·검색을 먼저 조사한다.
적용 범위: 지표·지원 모델·리전과 작업 생성 조건은 평가 방식별 문서를 확인한다.