텐서RT
NVIDIA에서 개발한 딥러닝 추론 최적화 SDK로, 모델의 가중치를 특정 하드웨어에 최적화하여 실행 속도를 극대화한다. 레이어 융합, 정밀도 조정(FP16/INT8) 등을 통해 지연 시간을 줄이고 처리량을 높이는 데 필수적이다.