💾

AtoZ; 처음부터 끝까지 기록하려고 노력합니다✍

📚STUDY/🔥Pytorch ML&DL

본 글은 '모두를 위한 딥러닝 시즌 2'와 'pytorch로 시작하는 딥 러닝 입문'을 보며 공부한 내용을 정리한 글입니다. 필자의 의견이 섞여 들어가 부정확한 내용이 존재할 수 있습니다. 활성화 함수란 어떤 신호를 받아들여, 적절한 처리(수학적 변환)를 수행 한 뒤 내보내는 함수다. 저 적절한 처리 부분에서 출력될 신호가 다음 단계에서 활성화 되서 사용이 될지 안될지 결정한다. 비선형함수가 주로 활성화 함수로 사용된다. 왜냐하면 선형 함수는, 아무리 층을 쌓아도 y=ax라는 식 하나로 표현이 가능하기 때문이다. 그러므로 층을 깊게 내주고 싶다면 비선형 함수를 사용해야 한다. 0. Problem of Sigmoid 지금까지 쓴 활성화 함수로는 시그모이드가 있다. 시그모이드를 이용해서 비용함수의 오차를 구..

2020. 3. 7.