본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
배치 사이즈 (batch-size) 용어 설명 | AI Trends
batch-size
배치 사이즈
중급
한 번의 연산 주기에서 동시에 처리하는 데이터(요청)의 개수로, 배치 사이즈가 커질수록 GPU 처리 효율은 높아지나 개별 응답 지연시간이 늘어날 수 있다.
비슷한 개념
continuous-batching
batch-processing
iteration
linear-scaling-rule
gradient-accumulation
batch-api
model-parallelism
inference-slot
← 용어 사전 전체 보기