본문으로 건너뛰기

피드 트렌딩 콜로세움 공지사항 기술 태그 AI 용어 사전 서비스 소개 문의 운영 정책 개인정보 처리방침

매일 업데이트되는 글로벌 소스의 AI/ML 뉴스를 수집하고 한국어로 요약합니다.

AI Trends·후원

피드 트렌딩 콜로세움 공지

피드 트렌딩 콜로세움 공지

선형 스케일링 규칙 (linear-scaling-rule) 용어 설명 | AI Trends

linear-scaling-rule

선형 스케일링 규칙

고급

배치 사이즈를 N배 키울 때 학습률도 N배 키워야 한다는 원칙이다. 하지만 모델의 크기나 데이터의 특성에 따라 수렴 불안정성을 초래할 수 있어 주의가 필요하다.

비슷한 개념

learning-rate training-parameters step gradient-accumulation batch-size feature-scaling layer-normalization gradient-variance

← 용어 사전 전체 보기