사전 학습 분포
모델이 처음 대규모 데이터를 학습할 때 형성되는 데이터의 통계적 구조이다. 인터넷 텍스트의 지배적인 경향성이 모델의 기본 상식으로 자리 잡게 되며, 이는 때로 특수한 논리적 상황에서 편향으로 작용할 수 있다.