트랜스포머(transformer)는 먼저 토큰화(tokenization)로 문자열을 모델 어휘의 항목에 대응시킨다. 임베딩(embedding)은 이 항목을 학습 가능한 연속 벡터(vector)로 표현하고, 위치 정보(positional information)는 입력 순서의 의미를 반영한다. 셀프 어텐션(self-attention)은 문맥에서 관련된 요소에 가중치를 주어 표현을 바꾸며, 피드포워드 층(feed-forward layer), 잔차 연결(residual connection), 정규화(normalization)와 함께 작동한다. 마지막 출력 점수인 로짓(logits)에 소프트맥스(softmax)를 적용하면 다음 토큰(token)의 확률 분포를 얻는다. 토큰의 숫자 ID 자체가 의미상 거리를 나타내는 것은 아니다. 단어나 과일을 좌표로 나타낸 비유도 실제 토크나이저(tokenizer)와 임베딩 알고리즘의 보편적인 규칙으로 받아들이지 않는다.
적용 범위: 입력 임베딩, 위치 정보, 트랜스포머 블록과 출력 확률의 관계를 다룬다. 모든 구조 변형과 수학적 유도까지 다루지는 않는다.
공식 출처와 이어 읽기
용어 확인: 임베딩(embedding) · 벡터(vector).