본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
KV 캐시 압축 (kv-compaction) 용어 설명 | AI Trends
kv-compaction
KV 캐시 압축
고급
LLM 추론 시 발생하는 Key-Value 캐시의 메모리 점유를 줄여 더 긴 문맥을 처리하거나 제한된 자원에서 추론 속도를 높이는 기술이다.
비슷한 개념
kv-cache
kv-cache-quantization
kv-caching
llm-inference-optimization
fp8-kv-cache
paged-attention
prompt-caching
gqa
← 용어 사전 전체 보기