특징 증류
거대 모델(교사)의 중간 레이어 특징을 작은 모델(학생)이 모방하도록 학습시키는 기법이다. 이를 통해 경량 모델이 거대 모델의 풍부한 시각적 표현력을 흡수하여 추론 속도 저하 없이 성능을 높일 수 있다.