토크나이저
이미지나 텍스트 같은 데이터를 모델이 처리할 수 있는 작은 단위인 '토큰'으로 분절하는 도구이다. 토큰의 수가 많을수록 모델의 표현력은 좋아지지만 계산량이 기하급수적으로 늘어나고 속도가 느려지므로, 효율적인 토큰화는 실시간 시스템 구현의 핵심 요소이다.