03. Deeper Look at Gradient Descent

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다.

필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다.

---

 

경사하강법은 가장 기본적인 옵티마이저 알고리즘(최적화 알고리즘)이다.

비용함수의 값을 최소로 하는 W와 b를 찾는 방법에 쓰인다.

 

여기서 W와 cost의 관계를 그래프로 표현하면 다음과 같다.

cost가 작을 수록 더 적합한 w라고 할 수 있다. 그렇다면 기울기가 아래 볼록한 곳에 있어야 좋다고 할 수 있다.

학습을 시작할 때, 컴퓨터는 임의의 초기값 W를 정하고, 맨 아래 볼록한 부분을 향해 점차 W의 값을 수정해 나간다. 

 

이를 가능하게 하는 것이 바로 '경사하강법'인데, 경사 하강법은 접선에서의 기울기의 개념을 사용한다.

 

초록색 선은  W가 임의의 값을 가지게 되는 네 가지의 경우에 대해서, 그래프 상으로 접선의 기울기를 보여준다. 기울기를 살펴보면, 점점 볼록한 곳으로 다가갈 수록 기울기가 0이 됨을 알 수 있다. 

 

즉, Cost가 최소가 되는 지점 = 접선의 기울기가 0 = 미분값이 0 이 된다.

 

쉽게 말해서 cost function을 미분해서 접선의 기울기를 구하고, 그 기울기에 특정 숫자를 곱한 값을 빼서 새로운 W로 사용한다.

 

위의 그림을 보면, 가장 큰 기울기가 양수이기 때문에, 기울기가 0이 되려면 감소해야한다. 반대로 기울기가 음수일 때는 증가해야 할 것이다.

위의 수식은 접선의 기울기가 음수거나, 양수일 때 모두 접선의 기울기가 0인 방향으로 W의 값을 조정한다. 

(참고로 := 기호는 오른쪽 수식의 계산 값을 왼쪽 기호에 대입함을 뜻한다.)

 

저 식에서 학습률 α는 W의 값을 변경할 때, 얼마나 크게 변경할지를 결정한다. 너무 큰 값을 준다면 발산을 할 수 있기 때문에 적절한 값을 찾는게 중요하다.

 

정리하자면,

기울기 = 방향

학습률 α = 발자국 크기

라고 할 수 있다.

 

---

<Reference>

https://deeplearningzerotoall.github.io/season2/lec_pytorch.html

https://wikidocs.net/53560