선택 기준
| 요구 | 후보 | 조건·주의 |
|---|---|---|
| 대화처럼 짧은 지연이 필요하다. | 실시간 엔드포인트(real-time endpoint) | 요청을 계속 받을 자원을 유지하고 트래픽에 맞게 용량을 관리한다. |
| 요청이 드물고 유휴 시간이 길다. | 서버리스 추론(serverless inference) | 콜드 스타트(cold start) 때의 지연을 허용할 수 있는지 확인한다. |
| 입력이 크거나 오래 걸리는 작업이며 결과를 나중에 받아도 된다. | 비동기 추론(asynchronous inference) | 요청을 대기열(queue)에 넣어 처리하므로 즉시 답해야 하는 대화 요청과 구분한다. |
| 사전 훈련 모델(pre-trained model)을 화면에서 빠르게 배포하려 한다. | Studio의 JumpStart | 세부 설정을 모두 직접 제어하기보다 배포 과정을 단순화하는 데 초점을 둔다. |
| 자체 모델의 배포 구성을 직접 제어하려 한다. | ModelBuilder | Python 코드와 배포 설정을 관리해야 한다. |
| 대규모 배포를 같은 방식으로 반복해야 한다. | 코드형 인프라(infrastructure as code, IaC)와 CloudFormation | 인프라 코드와 지속적 통합·전달(continuous integration/continuous delivery, CI/CD)을 운영할 역량이 필요하다. |
문서상 비동기 추론의 예시 한도는 요청 최대 1GB·처리 최대 1시간이다. 이는 2026-09-20 확인한 SageMaker AI 해당 방식의 조건이며 모든 AWS 모델/API의 공통 한도가 아니다. 실제 배포 전 전용 문서와 할당량을 재확인해야 한다.
대량 데이터를 모아 처리하는 방식은 배치 변환에서 비교한다. 서버리스는 인프라 관리 방식, 비동기는 응답 전달 방식이므로 개념 축을 혼동하지 않는다.
적용 범위: 여기서는 Amazon SageMaker AI의 추론 선택 기준을 다룬다. 엔드포인트별 한도와 가격은 배포 전에 해당 방식의 공식 문서에서 확인한다.