[부스트캠프 AI Tech 3기 Pre-Course] 핵심만 담은 AI를 위한 수학 지식 미분, 그래디언트, 경사하강법 순한맛, 딥러닝의 학습 원리과 코드 구현

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다.
부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다.

https://www.boostcourse.org/

 

미분과 그래디언트 그리고 경사하강법

 

[ 강의 소개 ]
미분의 개념과 그래디언트 벡터에 대해 설명합니다.
경사하강법의 알고리즘과 실제 코드에서의 구현을 보여줍니다.

 

접선의 기울기를 활용하여 함수의 최솟값으로 향해 이동하는 원리를 바탕으로

경사하강법의 알고리즘과 수식을 이해할 수 있다.

특히, 변수가 벡터라면 편미분을 통해 구한 그래디언트 벡터를 통해

d차원으로 경사하강법을 확장할 수 있다.

 

 

 

 

 

---

비선형 모델, 신경망, softmax, 활성화함수, 역전파 알고리즘

 

[ 강의 소개 ]
선형모델은 단순한 데이터를 해석할 때 유용하지만 복잡한 문제 해결에는 부족하다.
이를 개선하기 위해 비선형 모델인 신경망을 소개한다.
신경망의 구조와 내부에서 사용되는 softmax, 활성함수, 역전파 알고리즘을 배운다.
딥러닝은 여러 층의 선형모델과 활성함수에 대한 합성함수로 볼 수 있으며,
그래디언트를 계산하기 위해서 연쇄법칙을 적용한 역전파 알고리즘을 사용한다.

 

Further Question

분류 문제에서 softmax 함수가 사용되는 이유가 뭘까요?
softmax 함수의 결과값을 분류 모델의 학습에 어떤식으로 사용할 수 있을까요?

 

 

 

 

딥러닝의 수식적인 구성이 선형모델과 활성화 함수의 여러 층에 대한

합성함수이며, 그렇기에 gradient 계산에 있어 연쇄법칙이 필요하다.

수학적으로는 복잡할 수 있지만 딥러닝 프레임워크에는 자동화가

되어있으니 그 원리적인 이해를 한다고 생각하면 좋겠다.