대형 모델을 호스팅(hosting)할 때는 요청을 받기 전 준비 시간부터 확인한다. 모델 파일 다운로드(download), 메모리에 모델을 올리는 로딩(loading), 컨테이너 초기화(container startup), 추론(inference) 중의 지연은 서로 다른 단계다. ModelDataDownloadTimeoutInSeconds는 모델 데이터 다운로드 시간 제한이고, ContainerStartupHealthCheckTimeoutInSeconds는 컨테이너 시작 상태를 확인하는 시간 제한이다. 어느 단계가 느린지 알아야 적절한 설정을 바꿀 수 있다. 디스크 용량을 늘려도 GPU 메모리 부족이 해결되는 것은 아니다. 예제의 시간이나 용량을 모든 모델의 권장값으로 사용하지 말고 실제 모델과 부하에 맞게 검증한다.
적용 범위: 컨테이너·모델별 준비 시간과 메모리 조건은 실제 부하에서 검증해야 한다.
공식 출처와 이어 읽기
용어 확인: 추론(inference).