미세 조정(fine-tuning)은 추가 학습으로 가중치(weights)를 바꾸는 방식이다. 모델에 보내는 프롬프트(prompt)만 바꾸는 것과 다르다. 학습률(learning rate), 전체 데이터를 반복 학습하는 횟수인 에포크(epoch), 한 번에 처리하는 데이터 수인 배치 크기(batch size), 입력 길이와 검증 데이터 분할(validation split)을 관리한다. 저순위 적응(low-rank adaptation, LoRA)의 r, alpha, dropout, int8 양자화(quantization), 완전 샤딩 데이터 병렬 처리(Fully Sharded Data Parallel, FSDP)는 비용, 메모리와 적응 결과에 영향을 준다. 다만 사용할 수 있는 옵션은 모델마다 다르다. 이와 같은 훈련 설정(training configuration)과 응답 생성 때 사용하는 추론 설정(inference configuration)을 혼동하지 않는다.
적용 범위: LoRA·양자화·FSDP 옵션은 모델별 지원이 다르며 학습 설정과 추론 설정을 구별한다.
공식 출처와 이어 읽기
용어 확인: 추론(inference).