본문으로 건너뛰기

피드 트렌딩 콜로세움 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 콜로세움 공지

피드 트렌딩 콜로세움 공지

그래디언트 누적 (gradient-accumulation) 용어 설명 | AI Trends

gradient-accumulation

그래디언트 누적

중급

하드웨어 메모리 제약으로 큰 배치를 한 번에 처리할 수 없을 때, 여러 번의 작은 배치에서 계산된 그래디언트를 합산하여 가중치를 업데이트하는 방식이다.

비슷한 개념

gradient-variance gradient-flow tensor-parallelism linear-scaling-rule model-parallelism tensor-split batch-size step

← 용어 사전 전체 보기