SageMaker의 호스팅 모델은 프로덕션 변형(production variant)의 인스턴스 수를 Application Auto Scaling 정책으로 조절한다. 사용자가 EC2에 직접 모델 서버를 설치하고 오토 스케일링 그룹(Auto Scaling group, ASG)과 로드 밸런서(load balancer)로 운영하는 설계와 다르다. SageMaker 관리형 엔드포인트(managed endpoint) 뒤에 임의의 EC2 ASG를 붙이면 된다고 이해해서는 안 된다.
대상 추적 조정(target tracking scaling)은 선택한 지표를 목표값 근처로 유지하도록 CloudWatch 경보와 용량 조절을 관리한다. 단계 조정(step scaling)은 조건별 증감량을 세밀하게 정하고, 예약 조정(scheduled scaling)은 예측 가능한 시각에 미리 용량을 바꾼다. 예약 정책과 동적 정책을 함께 사용할 수도 있다. 분당 인스턴스당 70회 호출은 예시이지 모든 모델의 목표값이 아니다. 토큰(token) 길이, 모델 초기화 시간과 서비스 수준 목표(service level objective, SLO)에 맞게 테스트한다.
최소·최대 용량과 스케일 인·아웃 휴지기간은 비용·진동·버스트 대응의 균형이다. 정책 개요는 기본 휴지기간 300초와 일반 최소 1을 설명하지만 같은 문서가 0 인스턴스의 별도 단계 조정 경로도 언급한다. 따라서 모든 유형은 절대 0 불가 또는 모두 0가능으로 일반화하지 않는다. 0개 인스턴스 구성의 상세 조건은 별도 확인이 필요하다. 최대 설정에 페이지 자체 제한이 없다는 표현도 실제 서비스 할당량·가용 용량 무제한이라는 뜻은 아니다.
자동 확장(auto scaling) 설정을 만들고 용량 조정을 요청해도 새 인스턴스가 곧바로 요청을 처리할 수 있는 것은 아니다. 인스턴스가 준비되고 모델이 로드된 뒤 실제 서비스 수준 목표(service level objective, SLO)를 회복했는지 확인한다. 그 사이에는 요청을 대기열(queue)에 보관하거나 유입을 늦추는 백프레셔(backpressure)가 필요할 수 있다. 실제 부하와 준비 시간을 측정해야 정책이 의도대로 동작하는지 판단할 수 있다.
적용 범위: 0개 인스턴스까지 축소하는 조건과 향상된 지표, 로드 테스트는 별도 심화다. 정책의 최대값과 서비스의 실제 할당량은 다르다.