09-4. Batch Normalization

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다.

필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다.

---

0. Gradient Vanishing / Gradient Exploding

• Gradient Vanishing : sigmid function을 사용할 때 생기는 문제점. (기울기 소실) 
• Gradient Exploding : 기울기가 너무 크게 계산이 되서 생기는 문제점. (Nand 값이 나옴)

이런 문제점들은 어떻게 해결할 수 있을까?

1. 활성화 함수 변경
2. 신중한 초기화 (Xavier, he initialization)
3. 작은 learing rate를 사용

 

앗! 하지만 위의 해결책들을 쓰지 않고, 본질적으로 해결할 수 있는 방법이 있다?

 

1. Internal Covariate Shift (ICS)

위의 문제들의 근본적인 원인이다.

 

Covariate : 공변량

여러 변수들이 공통적으로 함께 공유하는 변량. 

 

Covariate shift : 공변량 변화

훈련 데이터의 분포와 테스트 데이터의 분포가 다른 경우.

 

Internal Covariate Shift : 내부 공변량 변화

신경망 층 사이에서 발생하는 입력 데이터의 분포 변화.

 

 학습하는 동안 이전 레이어에서의 가중치 매개변수가 변함에 따라 활성화 함수 출력값의 분포가 변화는 문제라고 할 수 있다. 이러한 문제는 훈련을 늦추고 낮은 학습률의 원인이 된다. 한 레이어 마다 입출력을 각각 가지고 있기 때문에 레이어 마다 covariate shift가 발생한다. 그리고 레이어가 깊을수록 더 커지게 된다.

 

 이전 층들의 학습에 의해 이전 층의 가중치 값이 바뀌게 되면, 현재 층에 전달되는 입력 데이터의 분포가 현재 층이 학습했던 시점의 분포와 차이가 발생한다. 배치 정규화를 제안한 논문에서는 기울기 소실/폭주 등의 딥 러닝 모델의 불안전성이 층마다 입력의 분포가 달라지기 때문이라고 주장한다.

이러한 문제를 해결하기 위해서 제안된 해결책이 배치 정규화(Batch Normalization)다.

 

2. 배치 정규화 (Batch Normalization)

 말 그대로 배치 단위로 정규화 한다는 의미다. 배치 정규화는 각 레이어의 활성화 함수의 출력값 분포가 고루 분포되도록 '강제'한다. 그래서 이렇게 출력값들이 정규 분포를 이루도록 하는 방법이다. 

 배치 정규화는 각 층에서 활성화 함수를 통과하기 전에 수행된다.

 

1. 입력에 대해 평균을 0으로 만들고, 정규화.
2. 정규화 된 데이터에 대해서 스케일과 시프트를 수행. (이 때 두 개의 매개변수 γ와 β를 사용하는데, γ는 스케일을 위해 사용하고, β는 시프트를 하는 것에 사용하며 다음 레이어에 일정한 범위의 값들만 전달되게 함.)

 배치 정규화는 학습 시 배치 단위의 평균과 분산들을 차례대로 받아 이동 평균과 이동 분산을 저장해놓았다가 테스트 할 때는 해당 배치의 평균과 분산을 구하지 않고 구해놓았던 평균과 분산으로 정규화를 한다.

 

장점은 다음과 같다.

1. 기울기 소실 문제 크게 개선.
2. 가중치 초기화에 대해 덜 민감.
3. 훨씬 큰 학습률 사용 가능 -> 학습 속도 개선

 

그런데 배치 정규화의 효과는 굉장하지만, 더 나은 학습에 영향을 끼치는 요인이 배치 정규화를 사용하는 원인인 내부 공변량 변화 떄문은 아니라는 논문도 있다.

https://arxiv.org/pdf/1805.11604.pdf

 

한계는 다음과 같다.

1. 미니 배치 크기에 의존적 (너무 작은 배치 크기에서는 잘 동작 안함)
2. RNN에 적용 어려움

 

---

<Reference>

https://deeplearningzerotoall.github.io/season2/lec_pytorch.html

https://wikidocs.net/61271

https://data-newbie.tistory.com/356

https://excelsior-cjh.tistory.com/178