어텐션 바이어스
Attention 연산 시 특정 토큰 간의 관계 점수에 특정 값을 더하거나 빼서 모델의 주목도를 강제로 조절하는 기법이다. 본 논문에서는 계산된 중요도 점수를 바이어스로 주입해 중요한 토큰에 연산이 집중되도록 유도한다.