상호 정보량
두 확률 변수 사이의 상호 의존성을 측정하는 지표이다. 한 변수를 알게 되었을 때 다른 변수의 불확실성이 얼마나 줄어드는지를 나타낸다. 이 논문에서는 특정 추론 단계의 토큰이 최종 정답에 대한 정보를 얼마나 포함하고 있는지 분석하는 도구로 쓰였다.