09-1. 활성화 함수(Activation function)

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다.

필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다.

---

 활성화 함수란 어떤 신호를 받아들여, 적절한 처리(수학적 변환)를 수행 한 뒤 내보내는 함수다. 저 적절한 처리 부분에서 출력될 신호가 다음 단계에서 활성화 되서 사용이 될지 안될지 결정한다. 비선형함수가 주로 활성화 함수로 사용된다. 왜냐하면 선형 함수는, 아무리 층을 쌓아도 y=ax라는 식 하나로 표현이 가능하기 때문이다. 그러므로 층을 깊게 내주고 싶다면 비선형 함수를 사용해야 한다.

 

0. Problem of Sigmoid

 지금까지 쓴 활성화 함수로는 시그모이드가 있다. 시그모이드를 이용해서 비용함수의 오차를 구하다 보면 문제가 생긴다. 미분을 해서 gradient를 구할 때, 일정 부분의 값만 잘 나오고 양 끝이 0과 1로 수렴하다 보니, 기울기는 0에 가까워진다.

 이렇게 되면 backpropagation을 수행할 때, 뒤에서 앞으로 오면서 점점 loss가 소멸한다. 이 현상을 기울기 소실, Vanishing gradient라고 하는데 기울기 소실이 발생하면 자꾸 기울기에 0에 가까운 기울기가 곱해져서 숫자가 너무 작아져서 앞단은 하나도 업데이트가 되지 않는다.

 

 

1. 하이퍼볼릭탄젠트 함수(Hyperbolic tangent function)

 tanh함수라고도 한다. 쌍곡선 함수중 하나이며 입력 값을 -1과 1 사이의 값으로 돌려준다.

시그모이드 함수와 모양이 비슷한 듯 싶지만, tanh함수는 0을 중심으로 하고 있어서 반환값의 변화폭이 더 크다. 그래서 시그모이드 보다는 기울기 소실 증상이 적은 편이다. 

 

2. ReLU 함수

간단하게 입력 값이 0보다 크면 그대로 값을 리턴하고, 0보다 작으면 0을 리턴한다. 구현이 간단하다는 장점이 있다.

 하지만 여기에도 문제점은 있는데, 입력값이 음수면 기울기도 0이라는 사실이다. 그리고 이 뉴런은 다시 회생하는 것이 매우 어렵다. 이 문제를 dying ReLU라고 한다.

 

3. Leaky ReLU

Dying ReLU의 문제를 해결하기 위해 나온 ReLU함수의 자매품! 리키 렐루에서는 음수값이 0이 아니라, 0에 가까운 매우 작은 값을 리턴하게 되어있다. 즉, 기울기가 0이 되지 않게 만들었다. 식에서 a는 하이퍼파라미터로 Leaky('새는') 정도를 결정하며 일반적으로는 0.01의 값을 가진다. 여기서 말하는 '새는 정도'라는 것은 입력값의 음수일 때의 기울기를 비유한다.

 

 

4. code

import torch.nn

torch.nn.sigmoid(x)
torch.nn.tanh(x)
torch.nn.relu(x)
torch.nn.leaky_relu(x, 0.01)

torch.nn 패키지에 다 구현이 되어있어서, 가져다서 쓰기만 하면 된다.

 

---

<Reference>

https://deeplearningzerotoall.github.io/season2/lec_pytorch.html

https://wikidocs.net/60683

https://reniew.github.io/12/