Batch Normalization (배치 정규화)

Batch Normalization

 

Training 과정에서 Batch Normalization 수식

(Inference에서는, Training 과정에서 이동 평균 및 지수 평균 등을 활용해서 평균과 분산을 구해놓는다.)

 

 

Layer가 깊을수록 노드를 거치면서 feature 값들의 분포와 스케일이 많이 달라진다.

→ weight 학습에 나쁜 영향을 미칠 수 있다.

→ 특정 weight만 크게 학습될 수 있다.

 

이런 문제들을 해결하기 위해,

○ Learning Rate 조절

○ Drop Out

○ Weight Initialize

등의 Regularization 기법들을 활용한다.

 

하지만 이런 기법들은 튜닝하기 어렵고,

학습 속도 저하를 발생시킬 수 있다.

 

☆ Batch Normalization로 학습 속도도 유지하면서, Regularization 효과를 얻을 수 있다.

→ 하지만 Sequential 데이터에는 적용하기 어렵다.

→ 이를 위해, Layer Normalization 등의 기법이 등장한다.

 

 

---

 

 

◎ References

 

< Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift >

 

< 배치 정규화(Batch Normalization) >

 

< [Deep Learning] Batch Normalization (배치 정규화) >

 

< Whitening transformation >