모델 병렬화
단일 GPU의 메모리에 담을 수 없는 거대 모델을 여러 개의 GPU에 나누어 배치하여 학습하거나 추론하는 기법이다. GPU 간의 데이터 통신 속도가 전체 성능의 병목 현상을 일으키기 때문에 효율적인 네트워크 구성이 필수적이다.