공정성(fairness)은 여러 관점으로 측정할 수 있으며 그 기준을 한꺼번에 모두 만족시키기 어려울 수 있다. 업무 담당자와 이해관계자가 어떤 피해를 줄일지 정한 뒤 적합한 지표를 고른다. 예측된 양성 비율의 차이는 DPPL(Difference in Positive Proportions in Predicted Labels), 두 집단의 예측 양성 비율의 비는 불평등 효과(Disparate Impact, DI)로 살핀다. 정확도 차이(Accuracy Difference, AD), 재현율 차이(Recall Difference, RD), 승인율 차이(Difference in Acceptance Rates, DAR), 특이도 차이(Specificity difference, SD), 대우 평등(Treatment Equality, TE)도 서로 다른 질문에 답한다. 특히 DAR은 집단별 정밀도(Precision)를 비교하고 TE는 거짓양성(false positive)과 거짓음성(false negative)의 상대적 비율을 비교한다. 관측 레이블(observed label) y와 예측 레이블(predicted label) y’를 구분하며, 비율의 차이를 단순 건수 차이로 읽지 않는다. 어떤 지표에서 ‘편향 없음’으로 나와도 모든 의미의 공정성이 입증된 것은 아니다. 분모가 0인 경우, 연속값이나 다중 클래스(multiclass)로 확장하는 경우는 각 지표의 정의를 확인한다.
지표 개수보다 각 지표가 답하는 질문을 구분하는 것이 중요하다. 법적 차별 여부를 숫자 하나로 판정하지 않으며, 집단별 분모·표본 수·오류 유형을 함께 확인한다. 공정성 평가 해설과 연결해 읽는다.
적용 범위: 개별 지표의 수식, 분모가 0인 경우, 연속값·다중 클래스 확장은 각각의 정의에서 확인해야 한다.
공식 출처와 이어 읽기
용어 확인: 정밀도(Precision) · 재현율(Recall).