모델을 사용자 지정(model customization)하는 방법은 어떤 학습 신호를 주는지에 따라 구분한다. 지도 미세 조정(supervised fine-tuning, SFT)은 입력과 정답 쌍을 이용해 모델 가중치(weights)를 조정한다. 강화 미세 조정(reinforcement fine-tuning, RFT)은 보상 함수(reward function)의 피드백을 이용한다. 증류(distillation)는 교사 모델(teacher model)의 응답으로 작은 학생 모델(student model)을 과업에 맞게 학습하는 방법이다. 반면 검색 증강 생성(Retrieval Augmented Generation, RAG)은 검색한 자료를 추론(inference) 시점의 문맥(context)으로 제공하며, 그 요청으로 모델 가중치를 바꾸지는 않는다. 방법을 선택할 때는 지원 모델과 함께 훈련 토큰(token), 전체 훈련 데이터를 반복해서 학습하는 횟수인 에포크(epoch), 모델 저장, 평가와 배포에 드는 비용을 계산한다.
적용 범위: 사용자 지정 방법별 지원 모델과 훈련·저장·배포 비용을 별도 확인한다.
공식 출처와 이어 읽기
용어 확인: 추론(inference).