관찰성(observability)은 시스템이 내보내는 정보를 통해 내부 상태와 문제 원인을 파악할 수 있는 능력이다. Amazon Bedrock을 운영할 때는 무엇을 알아내려는지에 따라 수집할 정보를 고른다. Amazon CloudWatch 지표(metrics)로는 호출량과 지연 시간의 변화를 보고, AWS CloudTrail 로그(logs)로는 API 활동을 감사한다. 모델 호출 로깅(model invocation logging)은 프롬프트와 응답을 포함한 개별 요청을 분석하는 데 사용한다. 수집 목적과 설정이 다르므로 하나를 켰다고 나머지 정보까지 자동으로 기록되는 것은 아니다.
bedrock-runtime 엔드포인트(endpoint)는 Converse, ConverseStream, InvokeModel, InvokeModelWithResponseStream을 제공한다. 이 글의 모니터링 설명은 해당 엔드포인트에 적용된다. bedrock-mantle을 호출한다면 별도의 모니터링 문서에서 지원 지표와 로깅 방법을 확인해야 한다. API가 비슷해 보여도 수집 범위가 같다고 가정해서는 안 된다.
한국어 문서와 영어 문서의 용어가 다르면 API 이름과 실제 수집 범위를 함께 확인한다. 특히 모델 호출 로깅(model invocation logging)을 한국어 제목에서 “모델 간접 호출”이라고 표현하더라도 별개의 호출 방식을 뜻하는 것은 아니다.
적용 범위: 엔드포인트별 모니터링 범위는 다르다. 모델 호출 로깅의 지원 조건과 함께 확인한다.