💾

AtoZ; 처음부터 끝까지 기록하려고 노력합니다✍

📚STUDY/🔥Pytorch ML&DL

U-Net architecture를 공부하다가 어떤 네트워크는 image size와 channel이 동일해서 add를 하기도 하고, 어떤 네트워크는 image size는 동일하지만 channel이 달라 (보통 2배 차이남) concatenation해 주기도 한다. 이 둘의 차이가 뭔지 궁금해서 검색해 보았고, 이를 정리했다. What are Skip Connections? 먼저 skip connection이란, 단순한 연결 작업이다. 위의 사진은 FCN network를 간략하게 표시한 것인데, 이 네트워크는 step을 거칠 수록 coarse(거친) 정보들 부터 fine(고차원적인) 정보들을 담게 된다. 그리고 마지막에 바로 큰 image로 키우게 되는데, 이때 고차원적인 정보들만 담고 있는 feature..

2021. 11. 22.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 0. Gradient Vanishing / Gradient Exploding Gradient Vanishing : sigmid function을 사용할 때 생기는 문제점. (기울기 소실) Gradient Exploding : 기울기가 너무 크게 계산이 되서 생기는 문제점. (Nand 값이 나옴) 이런 문제점들은 어떻게 해결할 수 있을까? 활성화 함수 변경 신중한 초기화 (Xavier, he initialization) 작은 learing rate를 사용 앗! 하지만 위의 해결책들을 쓰지 않고, 본질적으로 해결할 수 있..

2020. 3. 12.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 0. Overfitting 과적합이란 가중치들이 수치적으로 너무 학습데이터에만 알맞는 것을 말한다. 즉, 학습이 너무 고차원 적으로 많이 된 것이다. 그런데 잠깐, 학습데이터에 적합하면 좋은게 아닌가? 아니다! 학습데이터 = 테스트 데이터가 아니기 때문에 학습데이터에는 적합하더라도, 오히려 실전에서는 성능이 떨어질 수 있다. 정리하자면, Train set에서는 high accuracy, test set에서는 low accuracy를 보이는 현상을 말한다. 그렇다면, 이를 해결하기 위해서는 어떻게 해야 할까? 대표적인 ..

2020. 3. 10.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. We initialized the weights in a stupid way - Geoffrey Hinton 인공신경망 학습에서 중요한 부분 중 하나인, 가중치 초기화! Initialized! 같은 모델을 훈련시켜도 가중치의 초기값에 따라 모델의 훈련 결과가 달라지기도 한다. 즉, 가중치의 초기화가 잘 되어야 딥러닝 성능도 올라가고 기울기 소실과 같은 문제를 완화시킬 수도 있다. 그렇다면, 어떻게 초기화를 해야 할까? 일단, 0으로 초기화 하는 것은 굉장히 나쁘다! 잘못하다가는, 역전파를 할 때 모든 기울기 값이 0이..

2020. 3. 10.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 활성화 함수란 어떤 신호를 받아들여, 적절한 처리(수학적 변환)를 수행 한 뒤 내보내는 함수다. 저 적절한 처리 부분에서 출력될 신호가 다음 단계에서 활성화 되서 사용이 될지 안될지 결정한다. 비선형함수가 주로 활성화 함수로 사용된다. 왜냐하면 선형 함수는, 아무리 층을 쌓아도 y=ax라는 식 하나로 표현이 가능하기 때문이다. 그러므로 층을 깊게 내주고 싶다면 비선형 함수를 사용해야 한다. 0. Problem of Sigmoid 지금까지 쓴 활성화 함수로는 시그모이드가 있다. 시그모이드를 이용해서 비용함수의 오차를 구..

2020. 3. 7.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 0. 퍼셉트론 (Perceptron) 다수의 입력으로부터 하나의 결과를 내보내는 알고리즘. 뉴런의 동작 방식과 매우 유사하다. 각각의 입력 값에 가중치에 곱해서 y에 전달 된다. 이때, 전달된 값이 임계치를 노드가 활성화되고, 아니라면 활성화 되지 않는다. 이렇게 활성화를 결정하는 함수를 활성화 함수(active function)라고 하고, 그 종류에는 계단함수, 시그모이드, ReLU 등이 있다. 1. 단층 퍼셉트론 단층 퍼셉트론은 값을 보내는 단계과 값을 받아서 출력하는 두 단계로만 이루어졌다. 즉 입력층과 결과층으..

2020. 3. 3.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 1. 학습률 (Learning late) gradient descent를 할 때, 발자국의 크기를 정하는 일! 즉, 얼마나 이동할지 정한다. 처음에 한 0.1 정도에서 시작하다가 너무 발산하면 줄이고, 너무 진전이 없으면(변화가 없으면) 늘리는 식으로 최적의 학습률을 찾아가야 한다. 2. Data Preprocessing 데이터 전처리. 데이터의 크기 편차가 너무 크면, 큰 값에만 집중하게 되어서 학습이 잘 되지 않을 수 있다. 정규분포화(standardization)을 통해서 균등하게 만들어 줘야 한다. mu = x..

2020. 3. 1.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 3개 이상의 선택지에서 1개를 선택! (soft하게 max값을 뽑아주는) ⇒ 다중 클래스 분류 (Multi-class classification) 세 개 이상의 답 중 하나를 고르는 문제. 시그모이드 함수는 로지스틱 함수의 한 케이스라 볼 수 있고, 인풋이 하나일 때 사용되는 시그모이드 함수를 인풋이 여러개일 때도 사용할 수 있도록 일반화 한 것이 소프트맥스 함수입니다. 0. 원-핫 인코딩(one-Hot Encoding) 선택지의 개수만큼 차원을 가진다. 선택지에 해당하는 인덱스는 1, 나머지는 0으로 표현한다. ex..

2020. 2. 28.