청킹(chunking)은 검색에 사용할 문서를 조각으로 나누는 과정이다. 고정 크기 청킹(fixed-size chunking)은 일정한 크기로 나누므로 단순하다. 인접 청크가 일부 겹치도록 하는 중첩(overlap)은 잘린 부분의 문맥을 보완하지만 저장량과 토큰(token) 수를 늘린다. 계층적 청킹(hierarchical chunking)은 작은 하위 청크(child chunk)로 검색한 뒤 더 넓은 상위 청크(parent chunk)의 문맥을 제공한다. 여러 하위 청크가 같은 상위 청크로 합쳐지면 반환 결과 수가 줄 수 있다. 시맨틱 청킹(semantic chunking)은 의미가 달라지는 지점을 활용하지만 추가 비용이 든다. 텍스트를 나누는 이 과정과 멀티모달 임베딩(multimodal embedding) 과정의 분할은 구분한다. 청킹을 하지 않는 방식(no chunking)은 문서 전체를 하나로 다루므로 긴 문서 검색과 페이지 단위 인용에 제약이 있다.
적용 범위: 분할 방식은 질문별 검색 품질과 비용을 함께 측정해 선택한다.
공식 출처와 이어 읽기
용어 확인: 청킹(chunking) · 임베딩(embedding).