09-3. Overfitting을 막는 방법

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다.

필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다.

---

0. Overfitting

과적합이란 가중치들이 수치적으로 너무 학습데이터에만 알맞는 것을 말한다. 즉, 학습이 너무 고차원 적으로 많이 된 것이다.

그런데 잠깐, 학습데이터에 적합하면 좋은게 아닌가?

아니다! 학습데이터 = 테스트 데이터가 아니기 때문에 학습데이터에는 적합하더라도, 오히려 실전에서는 성능이 떨어질 수 있다.

 

정리하자면, Train set에서는 high accuracy, test set에서는 low accuracy를 보이는 현상을 말한다.

 

그렇다면, 이를 해결하기 위해서는 어떻게 해야 할까?

대표적인 방법 4가지가 있다.

 

1. More training data

모델은 데이터의 양이 적을 경우, 학습에 맞지 않는 그 데이터 만의 특정 패턴이나 노이즈까지 학습해서 과적합 현상이 발생활 확률이 높아진다. 그렇기에, 데이터의 양을 늘릴 수록 모델은 데이터의 일반적인 패턴을 학습해서 과적합을 방지할 수 있다.

 

만약, 데이터의 양이 적을 경우에는 의도적으로 데이터를 조금씩 변형, 추가하여 데이터의 양을 늘리기도 하는데 이를 데이터 증식 또는 증강(Data Augmentation)이라고 한다. 이미지의 경우 데이터 증식이 많이 사용된다.

 

2. Reduce the number of features

모델의 복잡도, 특징을 줄이는 방법이다. 인공 신경망의 복잡도는 은닉층의 수나 매개변수의 수(수용력) 등으로 결정 된다. 모델의 복잡도가 필요 이상으로 높아도 과적합이 일어날 수 있다.예를 들어, 3개의 은닉층이 있다면 2개로 줄이는 것이다.

 

3. Regularization

가중치에 규제를 주는 방법이다. 위에서 말했듯이 복잡한 모델이 간단한 모델보다 과적합될 가능성이 높다. 그렇기에 복잡한 모델을 좀 더 간단하게 하는 방법으로 가중치 규제가 있다. 규제에는 두가지 종류가 있다.

 

L1 규제 : 가중치들의 절대값 합계를 비용함수에 추가.

L2 규제 : 모든 가중치들의 제곱합을 비용함수에 추가.

 

4. Dropout

드롭 아웃은 학습 과정에서 신경망의 일부를 사용하지 않는 방법이다. 즉, 전구를 켜고 끄는 것처럼 신경망을 on/off 하는 것이다.

예를 들어, 드롭아웃의 비율을 0.5로 한다면 학습 과정마다 랜덤으로 뉴런의 절반을 사용하지 않고 학습한다.

 

드롭아웃은 신경망 학습 시에만 사용하고, 예측(실전) 시에는 사용하지 않는다. 드롭아웃을 사용하면 학습 할 때 인공 신경망이 특정 뉴런 또는 특정 조합에 너무 의존적이게 되는 것을 방지해주고, 서로 다른 신경망들을 앙상블하여 사용하는 것 같은 효과를 내서 과적합을 방지한다. (네트워크 앙상블)

 

dropout = torch.nn.Dropout(p=drop_prob)
#p는 확률!!! (사전에 특정된 특정 확률, 전체 노드중에 몇퍼센트를 사용하지 않을건지.)


# model
model = torch.nn.Sequential(linear1, relu, dropout,
                            linear2, relu, dropout,
                            linear3, relu, dropout,
                            linear4, relu, dropout,
                            linear5).to(device)

model.train()    # set the model to train mode (dropout=True)
#학습하기 전에 꼭 train()을 선언해줘야함.... : 확률대로 끄라고 지시

model.eval()    # set the model to evaluation mode (dropout=False)
    #실제로 테스트 할때는 드랍아웃을 안하고 전체 신경망으로 봐야함!!!
    #그래서 eval()을 호출해서 드랍아웃을 사용안한다는걸 알려줘야함.

---

<Reference>

https://deeplearningzerotoall.github.io/season2/lec_pytorch.html

https://wikidocs.net/60751