코드북 희소성
이산 모델에서 코드북의 크기가 커질 때, 각 토큰이 학습 데이터에 나타나는 빈도가 매우 낮아지는 현상이다. 이로 인해 모델이 특정 토큰에 대해 충분한 학습 신호를 받지 못해 최적화가 어려워지고 수렴 속도가 느려지는 문제가 발생한다.