그룹화된 라우팅
MoE 모델에서 전문가들을 여러 그룹으로 나누어 관리하는 기법이다. 각 그룹 내에서 최적의 전문가를 선택하도록 강제함으로써 특정 전문가에게만 연산이 쏠리는 현상을 방지하고 하드웨어 장치 간 부하 균형을 맞춘다.