책임 있는 AI(responsible AI)는 추상적인 선언보다 구체적인 검증 질문에서 시작한다. 누구에게 어떤 오류가 집중되는지, 설명이 실제 판단을 뒷받침하는지, 사람이 언제 개입해야 하는지를 살펴보자. 아래 수치와 상황은 자체 작성한 예시이며 법률 판단이나 제품 성능 보장이 아니다.
A 공정성은 한 개의 정확도 점수가 아니다
공정성(fairness)은 사용자의 권리와 업무상 피해를 고려해 무엇을 같게 다루고 어떤 차이를 정당하게 반영할지 정하는 문제다. 전체 정확도(Accuracy)가 높아도 특정 집단에 거짓양성(false positive, FP)이나 거짓음성(false negative, FN)이 집중될 수 있다. 표본의 대표성, 측정 오류, 과거 판단이 담긴 레이블, 대리 변수와 배포 환경이 모두 영향을 준다. 집단별 표본을 기계적으로 50:50으로 맞추는 것만으로 공정성이 확보되지는 않는다. 실제 모집단, 사용 목적, 그룹별 추정의 안정성을 함께 봐야 한다.
| 확인할 질문 | 지표가 비교하는 대상 | 분모·해석의 주의점 |
|---|---|---|
| 긍정적인 결과를 얼마나 받는가? | DPPL은 예측 양성 비율 차이, DI는 비율의 비 | 관찰된 자격과 기본 비율도 함께 확인 |
| 실제 양성을 얼마나 찾는가? | RD는 그룹별 재현율(Recall) 차이 | 참양성률의 분모는 실제 양성 |
| 경보 중 실제 문제가 얼마나 되는가? | DAR은 그룹별 정밀도(Precision) 차이 | 분모는 예측 양성. 경보 검토 비용과 연결 |
| 실제 음성을 얼마나 보호하는가? | SD는 특이도(specificity) 차이 | 정상 대상을 잘못 차단하는 위험과 연결 |
| 전체 예측이 얼마나 맞는가? | AD는 정확도 차이 | 같은 정확도도 오류 유형의 차이를 숨길 수 있음 |
| 오탐과 미탐의 구성이 같은가? | TE는 오류 유형의 비율 비교 | 분모가 0인 경우의 정의와 구현 확인 |
자체 계산 예시: 두 그룹 모두 100건 중 90건을 맞혔다고 하자. A그룹은 FP=10, FN=0이고 B그룹은 FP=0, FN=10일 수 있다. 전체 정확도는 같지만 B그룹에서는 실제 문제를 놓치는 피해가 발생한다. 재현율을 비교하려면 각 그룹의 실제 양성 수도 알아야 한다.
차이 지표가 0이거나 비율이 1이라는 것은 해당 측면이 비슷하다는 뜻이다. 법적·윤리적 공정성 전체를 인증하는 값이 아니다. 그룹별 분모, 표본 수와 레이블 품질을 함께 기록하고 어떤 오류가 사용자에게 더 큰 피해를 주는지 먼저 정한다. 개별 지표의 모든 산식과 법률 판단은 이 교재의 범위를 넘는다.
출처: AIF 영역 4 공식 자료, 훈련 후 편향 지표, 훈련 전 데이터 편향.
B 설명 가능성과 공개 범위를 구분하기
모델 카드(model card)는 목적, 입력 데이터, 훈련·평가, 한계, 사용하면 안 되는 조건과 책임자를 문서화한다. 서비스 카드(service card)는 제공자가 서비스의 의도된 용도와 제한을 설명하는 자료다. 카드를 작성하거나 공개하는 일과 모델의 내부 판단을 분석하는 일은 다르다.
설명 가능성(explainability)을 살필 때 SHAP(SHapley Additive exPlanations)는 선택한 기준에 비해 각 특징이 예측에 기여한 정도를 분석한다. 부분 의존도 도표(partial dependence plot, PDP)는 특징값 변화와 평균 예측의 관계를 보여준다. 상관된 특징과 선택한 기준에 따라 해석이 달라지므로 이를 인과관계의 증명으로 받아들이지 않는다.
모델 전체에서 어떤 특징(feature)이 중요한지 묻는 것과, 특정 개인의 신청이 왜 거절됐는지 묻는 것은 다르다. 설명이 그럴듯하다는 이유만으로 예측이 공정하거나 정확하다고 판단해서는 안 된다. 대규모 언어 모델(large language model, LLM)이 생성한 이유도 실제 내부 계산의 원인이라고 단정할 수 없다. 오픈 소스(open source) 코드나 모델 가중치(weights)를 공개하면 작동 방식을 조사할 기회는 늘어난다. 그러나 이것이 모든 훈련 데이터의 공개, 적법한 라이선스 사용, 편향 없는 결과, 안전한 보안을 보장하지는 않는다. 반대로 비공개 모델이라는 이유만으로 안전하다고 볼 수도 없다.
투명성(transparency)을 확보하려면 정보를 누구에게 어느 수준까지 제공할지 정해야 한다. 일반 사용자에게는 모델의 목적과 한계, 결정에 이의를 제기할 방법을 알린다. 감사자에게는 평가 결과와 데이터 계보(data lineage), 즉 데이터의 출처와 변환 이력을 제공할 수 있다. 다만 개인정보·영업비밀·악용할 수 있는 세부 정보는 필요한 범위로 제한해야 한다. 보안을 이유로 설명을 모두 없애기보다는, 각자의 권한과 필요에 맞춰 정보를 제공한다. 이렇게 하면 보호해야 할 정보를 지키면서도 사용자가 판단 이유를 이해하도록 도울 수 있다.
출처: 모델 카드와 설명 가능성, SHAP와 PDP. 2026년 9월 20일에 검토한 SageMaker Clarify 문서에는 신규 고객 이용 제한이 있다. 개념 학습과 현재 신규 도입 가능성을 구분한다.
C 인간 검토와 선호 학습은 역할이 다르다
추론(inference) 단계의 인간 검토(human review)는 위험하거나 확신이 낮은 개별 결과를 검토자가 확인하도록 하는 운영 절차다. 낮은 신뢰도(confidence)의 결과만 검토하면 모델이 높은 신뢰도로 틀린 사례는 놓칠 수 있다. 따라서 무작위로 뽑은 표본과 위험이 큰 집단의 표본도 점검한다. 검토자가 어떤 원문을 보고 어떤 기준으로 판단할지, 의견이 다르면 어떻게 조정할지, 어디까지 개인정보에 접근할 수 있는지, 얼마 안에 처리해야 하는지를 미리 정해야 한다. 사람이 참여한다는 사실만으로 편향(bias)이 없어지는 것은 아니다.
인간 피드백 기반 강화 학습(reinforcement learning from human feedback, RLHF)은 사람의 선호를 학습 신호로 사용하는 과정이다. 대표적인 경로는 여러 응답에 대한 사람의 평가, 보상 모델 훈련, 그 보상을 높이는 방향의 생성 모델 조정이다. 인간 검토가 현재 결과의 사용을 통제한다면 RLHF는 모델의 행동을 학습시킨다는 차이가 있다.
보상이 자연스러움만 강조하면 사실은 틀리지만 설득력 있는 답을 선호하도록 학습할 수 있다. 평가 기준에 근거·정직성·안전성을 포함하고 별도의 평가 데이터로 확인한다. 사람의 선호와 사실적 정확성(factual accuracy)은 같은 척도가 아니다.
자체 상황 예시: 의료 문서에서 추출한 약물명이 불확실하면 전문가 검토로 보낸다. 검토 결과를 훈련 데이터로 재사용하려면 개인정보의 이용 목적, 동의와 품질 검증을 별도로 확인해야 한다. 검토자가 수정했다는 이유만으로 자동 재훈련하거나 원문을 무기한 보존하지 않는다.
출처: A2I 이용 조건과 인간 검토, RLHF의 가치와 피드백. 2026년 9월 21일에 확인한 Amazon Augmented AI(A2I) 문서는 신규 고객의 이용 제한을 명시한다. 기존 고객 지원과 인간 검토의 개념을 신규 도입 가능성과 혼동하지 않는다.
D 책임은 필터 밖에서도 계속된다
유해 콘텐츠, 할루시네이션(hallucination), 개인정보 유출, 저작권·라이선스, 차별과 환경 비용을 별개의 위험으로 관리한다. Amazon Bedrock Guardrails는 입력·출력, 거부된 주제와 민감정보를 검사하는 데 도움이 되지만 완전한 안전이나 법적 면책을 보장하지 않는다. 검색 출처 검증, 접근 권한, 기록 보존, 인간 승인과 사고 대응을 함께 설계한다. 위험 신호가 나타나면 재시도만 반복하지 말고 검토 또는 중지 경로로 보낸다.
“AI 생성물에는 저작권이 없다”는 말을 모든 국가와 인간이 편집한 모든 작품에 적용할 수는 없다. 보호 가능성은 관할 법률과 인간의 기여 등에 따라 별도로 판단해야 하며, 보호 여부와 타인 저작물의 침해 위험은 다른 문제다. 사용자가 프롬프트에 넣은 정보가 곧바로 모델 가중치에 영구 학습됐다는 뜻도 아니다. 로그, 대화 메모리, 검색 색인, 훈련 데이터와 학습된 가중치는 각각 다른 보존·삭제 문제를 가진다.
지속 가능성(sustainability)은 필요한 품질을 만족하는 작은 모델, 적절한 출력 길이, 기존 모델의 재사용, 불필요한 재훈련과 중복 호출 감소를 통해 검토할 수 있다. API 요금이 낮다는 이유만으로 탄소 배출도 낮다고 계산하지 않는다. 배포 후에는 공정성·품질·위험 지표를 관찰하고 담당자, 검토 주기, 이의 제기와 롤백 절차를 정한다.
출처: Guardrails의 역할과 경계, Bedrock 데이터 보호, 과업별 자동 평가. 구체 법률 적용과 탄소 배출량 산정은 별도 검토가 필요하다.
상황형 자기점검
다음 문항은 이 교재에서 직접 만든 학습 문제다. AWS 공식 문제·실제 기출·시험 복원 문제가 아니며 합격을 보장하지 않는다. 각 문항은 제시된 조건에서 가장 적절한 답 하나를 고른다. 정답을 보기 전에 다른 선택지가 요구 조건을 충족하지 못하는 이유도 설명해 보자.
1. 전체 정확도 뒤의 차이
대출 모델의 전체 정확도는 높지만 한 고객군의 실제 적격자를 자주 거절한다. 가장 적절한 다음 단계는?
- A. 정확도가 높으므로 공정성이 입증됐다
- B. 두 집단의 표본 수를 같게 맞춘 뒤 공정성이 해결됐다고 판단한다
- C. 집단별 표본 수·거짓음성률·레이블 품질과 사용 맥락을 분석한다
- D. 민감 속성 한 열을 지웠으므로 조사하지 않는다
정답과 선택지별 해설 보기
정답: C
- A — 정확도(accuracy)는 전체 예측 중 맞힌 비율이다. 이 값만으로 특정 집단에 어떤 오류가 집중되는지는 알 수 없다.
- B — 두 집단의 표본 수를 맞춰도 레이블 편향(label bias)이나 대리 변수(proxy variable)의 영향은 남을 수 있다. 각 집단에서 어떤 오류와 피해가 발생하는지 별도로 확인해야 한다.
- C — 전체 평균에 가려진 피해와 데이터 원인을 찾아야 한다. 표본 규모와 목적도 중요하다.
- D — 주소 같은 대리 변수(proxy variable)가 삭제한 민감 속성의 정보를 간접적으로 드러낼 수 있다. 과거 판단으로 만든 레이블(label)에 편향이 남아 있을 가능성도 확인해야 한다.
개념 근거: AWS 공개 시험 가이드 · 공식 과업 4.1. 문항의 상황·보기·수치는 자체 작성했다.
2. 이해할 설명과 공개 범위
이용자는 AI 신청 심사의 이유를 알고 이의를 제기할 수 있어야 한다. 동시에 다른 고객의 개인정보와 악용 가능한 내부 규칙은 보호해야 한다. 적절한 설계는?
- A. 투명성을 위해 모든 고객의 원문과 비밀 키를 공개한다
- B. 보안을 이유로 어떤 설명과 이의 제기도 없앤다
- C. LLM이 만든 이유를 실제 인과관계의 증명이라고 표시한다
- D. 목적·주요 판단 근거·한계·이의 제기 경로를 제공하고 민감한 상세는 권한별로 제한한다
정답과 선택지별 해설 보기
정답: D
- A — 투명성은 개인정보나 자격 증명의 무제한 공개를 의미하지 않는다.
- B — 사용자가 결정을 이해하고 바로잡을 수 있는 필요를 충족하지 못한다.
- C — LLM이 설득력 있게 설명하더라도 그 설명이 실제 모델의 판단 과정을 재현했다고 볼 수는 없다. 설명 가능성(explainability)을 평가할 때는 그럴듯한 문장과 실제 예측의 근거를 구분해야 한다.
- D — 인간 중심 설명과 필요한 정보 보호를 함께 달성하는 접근이다.
개념 근거: AWS 공개 시험 가이드 · 공식 과업 4.2. 문항의 상황·보기·수치는 자체 작성했다.