잠재 어텐션
데이터의 고차원적인 특징이 담긴 잠재 공간(Latent Space)에서 요소 간의 관계를 계산하는 메커니즘입니다. 이 논문에서는 토큰이 어떤 전문가에게 가야 할지 결정하는 라우팅 지표로 사용됩니다.