본문으로 건너뛰기
AI Trends
피드
트렌딩
콜로세움
공지
로그인
피드
트렌딩
콜로세움
공지
그래디언트 누적 (gradient-accumulation) 용어 설명 | AI Trends
gradient-accumulation
그래디언트 누적
중급
하드웨어 메모리 제약으로 큰 배치를 한 번에 처리할 수 없을 때, 여러 번의 작은 배치에서 계산된 그래디언트를 합산하여 가중치를 업데이트하는 방식이다.
비슷한 개념
gradient-variance
gradient-flow
tensor-parallelism
linear-scaling-rule
model-parallelism
tensor-split
batch-size
step
← 용어 사전 전체 보기