토큰 수준 엔트로피
모델이 다음 토큰을 예측할 때 느끼는 불확실성을 수치화한 것입니다. 엔트로피가 높을수록 모델이 다음에 올 단어를 확신하지 못한다는 의미이며, 본 논문에서는 이 수치가 높을 때 일관성 오류가 자주 발생함을 입증했습니다.