하이브리드 어텐션
슬라이딩 윈도우와 전체 어텐션을 결합하여 긴 컨텍스트를 효율적으로 처리하는 기법이다. 추론 속도를 유지하면서도 넓은 문맥을 파악할 수 있게 해주지만, 중단되지 않을 경우 자원 소모가 크다.