💾

AtoZ; 처음부터 끝까지 기록하려고 노력합니다✍

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 3개 이상의 선택지에서 1개를 선택! (soft하게 max값을 뽑아주는) ⇒ 다중 클래스 분류 (Multi-class classification) 세 개 이상의 답 중 하나를 고르는 문제. 시그모이드 함수는 로지스틱 함수의 한 케이스라 볼 수 있고, 인풋이 하나일 때 사용되는 시그모이드 함수를 인풋이 여러개일 때도 사용할 수 있도록 일반화 한 것이 소프트맥스 함수입니다. 0. 원-핫 인코딩(one-Hot Encoding) 선택지의 개수만큼 차원을 가진다. 선택지에 해당하는 인덱스는 1, 나머지는 0으로 표현한다. ex..

2020. 2. 28.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 로지스틱 회귀 : 이진 분류! 0. binary classification 이진 분류, 0 또는 1로 분류하는 형태. 0또는 1로 분류를 할 때는 0으로 쭉 가다가 특정한 점에서 갑자기 1이되고, 이후에 쭉 1이 되는 계단 함수, step function이 제일 이상적이다. 그러나 미분을 할 때 등등 계산에 불편함이 많다. 그래서 계단과 유사한 S자 형태를 표현 할 수 있는 함수가 필요하다. S자 형태를 표현하기 위해서는 특정 함수 f를 추가적으로 사용해서 아래의 형태를 이뤄야 한다. 여기서 f 에 적합한 함수가 바로..

2020. 2. 28.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 복잡한 모델들은 엄청난 양의 데이터가 필요하다! ⇒ 그런데 여러가지 이유(시간 등등) 때문에 한번에 학습하는게 불가능하다. ⇒ 그렇다면 일부의 데이터로만 학습한다면 빠르게 학습할 수 있지 않을까? 1. Mini Batch and batch size 미니 배치 : 전체 데이터를 더 작은 단위로 나눠어 해당 단위로 학습하는 개념에서, 단위! 미니 배치 학습을 하게 된다면, 한 미니 배치만큼만 가져가서 학습을 수행한다, 그리고 그 다음 미니배치를 가져가서 학습을 수행하고.... 이렇게 전체 데이터에 대한 학습이 1회 끝나면..

2020. 2. 24.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 여러개의 정보에서 하나의 추측값을 얻어내는 직선을 찾는 과정 즉, 이번에는 다수의 x에서 하나의 y를 추출하는 과정이다. 1. Hypothesis Function 입력 변수가 3개라고 가정했을 때의 식이다. x가 3개라면 w(가중치)도 3개다. 그런데 이렇게 naive하게 나타내가 보면, x의 개수가 매우 많아졌을 땐 죽음 뿐...... 그래서 이때, 행렬의 특성을 사용한다. 2. Dot product 일일히 곱하지 않고, x텐서와 w텐서를 한번에 곱해주고 싶어! => 내적을 이용하자. (더 자세한 행렬 연산은 htt..

2020. 2. 24.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 경사하강법은 가장 기본적인 옵티마이저 알고리즘(최적화 알고리즘)이다. 비용함수의 값을 최소로 하는 W와 b를 찾는 방법에 쓰인다. 여기서 W와 cost의 관계를 그래프로 표현하면 다음과 같다. cost가 작을 수록 더 적합한 w라고 할 수 있다. 그렇다면 기울기가 아래 볼록한 곳에 있어야 좋다고 할 수 있다. 학습을 시작할 때, 컴퓨터는 임의의 초기값 W를 정하고, 맨 아래 볼록한 부분을 향해 점차 W의 값을 수정해 나간다. 이를 가능하게 하는 것이 바로 '경사하강법'인데, 경사 하강법은 접선에서의 기울기의 개념을 사..

2020. 2. 24.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 선형 회귀 = 학습 데이터와 가장 잘 맞는 하나의 직선을 찾는 과정! 0. 전체적인 학습 방법 (다른 학습에도 적용됨!) 1) 데이터에 적합한 가설을 설정한다. 2) cost function, 즉 오차비용 loss를 구할 함수를 결정한다. 3) 오차함수의 기울기를 이용해서 모델을 개선한다.(optimizer) 4) 만족스러운 결과가 나올 때 까지 3을 반복한다. 1. x가 하나인 linear regression 구현하기 1) Hypothesis 가설은 인공신경망의 구조를 나타낸다. 즉, 주어진 x에 대해 어떤 y를 뱉..

2020. 2. 21.

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 01. pytorch pagkage 기본 구성 torch : 메인 네임스페이스 torch.autograd : 자동 미분을 위한 함수들(function) torch.nn : 신경망 구축을 위한 다양한 데이터 구조 & 레이어 torch.optim : 최적화 알고리즘 구현 torch.utils.data : SGD의 반복연산을 실행할 때 사용하는 미니 배치용 유틸리티 함수 torch.onnx : ONNX의 포맷. 02. Vector, Matrix, and Tensor 1차원 (1D) - vector 2차원 (2D) - mat..

2020. 2. 13.