배치 정규화 (1) 썸네일형 리스트형 Batch Normalization (배치 정규화) Batch Normalization (Inference에서는, Training 과정에서 이동 평균 및 지수 평균 등을 활용해서 평균과 분산을 구해놓는다.) Layer가 깊을수록 노드를 거치면서 feature 값들의 분포와 스케일이 많이 달라진다. → weight 학습에 나쁜 영향을 미칠 수 있다. → 특정 weight만 크게 학습될 수 있다. 이런 문제들을 해결하기 위해, ○ Learning Rate 조절 ○ Drop Out ○ Weight Initialize 등의 Regularization 기법들을 활용한다. 하지만 이런 기법들은 튜닝하기 어렵고, 학습 속도 저하를 발생시킬 수 있다. ☆ Batch Normalization로 학습 속도도 유지하면서, Regularization 효과를 얻을 수 있다. →.. 이전 1 다음
