인간 피드백 기반 강화 학습(reinforcement learning from human feedback, RLHF)은 명확한 산식으로 표현하기 어려운 자연스러움·문맥 적절성 등을 사람이 평가해 학습 신호로 사용하는 방법이다. 사실적으로 정확한 답과 사용자가 선호하는 표현은 같은 척도가 아니다. 사람의 선호를 반영하더라도 표본의 대표성이 부족하거나 평가 기준이 잘못되면 편향을 학습할 수 있다. 성능 향상이나 진실성이 모든 경우 보장되는 것은 아니다.
적용 범위: 여기서는 사람의 선호를 학습 신호로 사용하는 원리다. 보상 모델의 전체 훈련 절차와 하위 구현은 별도 심화 주제다.