vllm

대규모 언어 모델의 추론 속도를 극대화하기 위해 PagedAttention 기술을 사용하는 오픈소스 라이브러리이다. 메모리 효율성을 높여 단일 GPU에서도 더 높은 처리량을 제공하며 로컬 서버 구축 시 핵심적인 엔진 역할을 한다.