접두사 캐싱
프롬프트의 공통된 앞부분(시스템 프롬프트, 이전 대화 기록 등)을 캐싱하여 여러 요청에서 재사용하는 기법이다. 동일한 문맥을 반복해서 입력할 때 발생하는 프롬프트 처리 시간(Prefill)을 획기적으로 단축한다.