어텐션 롤아웃
Transformer의 여러 레이어를 거치며 전파되는 어텐션 가중치를 재귀적으로 결합하여 입력 토큰이 최종 출력에 미치는 영향을 추적하는 기법이다. 잔차 연결을 고려하여 정보의 흐름을 시각화함으로써 모델이 실제로 이미지의 어디를 보고 답했는지 분석하는 데 사용된다.