전문가 혼합 모델
전체 파라미터 중 입력값에 따라 필요한 일부 전문가(Expert) 네트워크만 활성화하여 연산하는 모델 구조이다. 모델의 전체 용량은 키우면서도 추론 시 계산 비용을 효율적으로 유지할 수 있는 장점이 있다.