01. PyTorch 기초

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다.

필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다.

---

01. pytorch pagkage 기본 구성

 

torch : 메인 네임스페이스

torch.autograd : 자동 미분을 위한 함수들(function)

torch.nn :  신경망 구축을 위한 다양한 데이터 구조 & 레이어

torch.optim : 최적화 알고리즘 구현

torch.utils.data : SGD의 반복연산을 실행할 때 사용하는 미니 배치용 유틸리티 함수

torch.onnx : ONNX의 포맷.

 

02. Vector, Matrix, and Tensor

 

1차원 (1D) - vector

2차원 (2D) - matrix

3차원 (3D) - Tensor

⇒ 매 연산마다 매트릭스의 크기를 알고 있어야 한다.

 

2D Tensor ⇒ |t| = (batch size, dim)

3D Tensor ⇒ |t| = (batch size, width, height)

 

 

03. Pytorch Tensor Allocation

 

1) 1D 

import torch

t = torch.FloatTensor([0., 1.])

print(t.dim()) #현재 텐서의 차원을 보여줌
print(t.shape) #shape (둘다 크기를 확인할 수 있음)
print(t.size()) #shape

1 torch.Size([2]) torch.Size([2])

인덱스로 접근하는 것과 슬라이싱은 Numpy와 동일하다.

 

 

2) 2D

t = torch.FloatTensor([[1., 2., 3.],
                       [4., 5., 6.],
                       [7., 8., 9.],
                       [10., 11., 12.]
                      ])
                      
print(t.dim())  #차원을 보여줌
print(t.size()) #Shape

2 torch.Size([4, 3])

2차원이라 슬라이싱을 할 땐, 한개의 쉼표(,)가 들어가야한다.

print(t[:, 1]) # 첫번째 차원을 전체 선택한 상황에서 두번째 차원의 첫번째 것만 가져온다.
print(t[:, 1].size()) # ↑ 위의 경우의 크기

tensor([ 2., 5., 8., 11.]) torch.Size([4])

약간 가로 세로같은 느낌? 세로 전체를 선택하고, 가로에서 첫번째 것(줄)만 가져온다고 생각해도 될 것 같다.

 

 

3) Broadcasting

 

 자동으로 크기를 맞춰서 연산을 수행하게 만드는 기능이다. 크기가 다른 텐서들간의 연산에서, 브로드 캐스팅을 통해 각 텐서의 크기를 맞춰준다.

 

 매우 편리한 기능이지만, 자동으로 실행되는 기능이라 매우 주의해서 사용해야 한다! 두 텐서의 크기가 같다고 착각해서 연산을 한다면, 나중에 생기는 오류를 찾아내기가 매우 힘들다.

 

 

4) Matrix Multiplication Vs. Multiplication

 

행렬 곱셈 vs. 원소별 곱셈

m1 = torch.FloatTensor([[1, 2], [3, 4]])
m2 = torch.FloatTensor([[1], [2]])

print(m1.matmul(m2)) # 2 x 1

print(m1 * m2) # 2 x 2
print(m1.mul(m2))

tensor([[ 5.],           [11.]]) tensor([[1., 2.],             [6., 8.]]) tensor([[1., 2.],             [6., 8.]])

행렬 곱셈은 (m*n) x (n*k) = (m*k) 형식으로 나오는 곱셈이고 matmul을 이용한다.

원소별 곱셈은 그 자리에 있는 원소끼리 곱하는 방식으로, 기호 * 을 사용하거나 mul을 사용한다.

a.matmul(b) == a · b ≠ a*b == a.mul(b)

 

 

5) etc...

 

- dim = 짝수  → 열이 기준

  dim = 홀수  → 행이 기준

 

- mean

평균 구할때 사용. 차원을 인자로 줄 수 있다.

차원을 인자로 준다 = 해당 차원을 제거한다.

t = torch.FloatTensor([[1, 2], [3, 4]])
print(t.mean())
print(t.mean(dim=0))
print(t.mean(dim=1))

tensor(2.5000) tensor([4., 6.]) tensor([1.5000, 3.5000])

 

- sum

합을 구할 때 사용. 차원을 인자로 줄 수 있다.

mean과 dim의 사용방법은 같다.

print(t.sum()) # 단순히 원소 전체의 덧셈을 수행
print(t.sum(dim=0)) # 행을 제거
print(t.sum(dim=1)) # 열을 제거
print(t.sum(dim=-1)) # 열을 제거

tensor(10.) tensor([4., 6.]) tensor([3., 7.]) tensor([3., 7.])

 

- max & argmax

max는 최대값을 리턴한다. argmax는 max의 index를 리턴한다.

max에 dim인자를 주면 argmax도 함께 리턴한다.

 

 

- view ★

원소의 수를 유지하면서 텐서의 크기를 변경한다! ( = reshape)

view안의 수 곱이 원래의 텐서 수 곱과 일치해야 한다.(원소의 수는 유지되어야 하니까!)

사이즈를 변경할 때, -1로 설정되어 있다면 다른 차원으로 부터 해당 값을 유추한다.(방정식을 맞추는 것 처럼)

 

크기가 [2, 2, 3] 인 텐서 ft가 있다고 칠 때, ft.view([-1, 3])를 사용하면 크기가 [4, 3]인 텐서를 만든다.

 

- squeeze

차원을 줄인다. 그런데 줄일 차원의 값이 1일때만 사용이 가능하다. (아닐때는 아무 효과 없음)

즉, 그 차원 안에 값이 하나여서 ([[1]] 같은 경우), 굳이 차원을 가질 필요가 없을 때 사용.

dim을 요소로 줄 수 있다.

 

- unsqueeze

위와 반대. 차원을 늘려준다.

이 때는 dim이 필수 요소다. 어느 차원을 늘려줄건지 알아야 하기 때문이다.

 

 

- type casting

텐서의 타입을 바꿔준다.

이름.텐서의타입( )

 

- concatenate

이어붙이기. dim을 요소로 줄 수 있다.

0이면 아래(첫번째 차원을 늘려라)로, 1이면 오른쪽으로 붙인다.

torch.cat([a, b], dim=0)

 

- stacking

스택처럼 쌓아준다.

torch.stack([a, b, c], (dim=0))

기본이 dim = 0, 아래로 쌓기다. 1로 지정하면 옆으로 쌓는다.

torch.cat([a.unsqueeze(0), b.unsqueeze(0), c.unsqueeze(0)], dim=0)

위 식과 동일한 뜻이다.

 

 

- Ones and Zeros

0 or 1 로만 채운다.

torch.ones(size)
torch.zeros(size)
torch.ones_like(x)
torch.zeros_like(x)

위의 두개는 사이즈를 튜플로 입력할때, 아래 두개는 사이즈를 기존의 텐서로 넘겨줄 때 사용한다.

 

 

- In-place Operation

기존의 텐서에 연산을 한 뒤, 덮어쓴다.

연산 뒤에 _를 붙이면 된다.

 

 

- scatter

 

scatter(dim, index, src|val)

---

<Reference>

https://deeplearningzerotoall.github.io/season2/lec_pytorch.html

https://wikidocs.net/52460