hae-koos

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. Sequential Model Sequential Data를 처리하는 가장 큰 어려움은 지금까지는 우리가 얻고 싶은 것이 하나의 Label이었는데 Sequential Data는 길이가 제각각이다. 받아들일 입력의 차원이 고정되어 있지 않다는 것이다. 몇개의 단어, 음절, 이미지가 들어올 지 모르므로 그 크기에 상관없이 동작할 모델이 필요하다. 이전에 어떤 말이 들어왔을 때 다음 말이 무엇일지 예측하는 문제. 시간이 지날수록 고려해야 하는 지난 시간의 데이터들이 늘어난다. 이를 가장 간단히 만드는 것은 Fixed Time Span. 과거의 ..

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. Convolution 방법은 위 이미지와 같지만 이 과정이 가지는 의미가 무엇일까? 적용되는 필터를 해당 이미지에 도장처럼 찍는 것인데 그 종류에 따라 blur, emboss, outline 등 다양한 결과가 나올 수 있다. 만약 커널이 3x3에 각 값이 1/9라면 그 커널 속 이미지의 평균이 해당 출력값으로 들어갈 것이다. Input 채널과 Fileter 채널이 동일한 상태에서 왼쪽과 같은 과정으로 이루어지는데 오른쪽 이미지처럼 Filter 수가 늘어난다면 Output 채널 역시 늘어날 것이다. 그 Convolution을 여러번 쌓고 M..

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. Introduction 1. Generalization Iteration이 반복될 때마다 Training Error는 당연히 줄어들 것이다. 하지만 시간이 지나가고 나면 Test Error에 대해 그 성능이 떨어지게 된다. 즉, Training Error와 Test Error 사이의 차이가 증가한다. 이러한 현상을 오른쪽 이미지와 같이 Overfitting이라 한다. 학습 데이터조차 맞추지 못하고 있는 것이 Underfitting. 2. Cross-Validation 일반적으로 학습과 테스트를 위한 데이터를 나눠서 훈련시키는 경우가 많다...

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. Neural Network 생물학적 뇌의 신경망을 모방한Computing System. 이미지라는 텐서가 주어지면 라벨이라는 벡터가 산출되는 모델이 있다고 하자. 내가 정의한 함수(행렬 연산과 비선형 연산의 반복)로 이를 근사하겠다. 입력과 출력이 1차원인 문제가 있다고 하자. 선형회귀. 그 목적은 입력과 출력을 연결하는 모델을 찾는 것이다. 선형이므로 라인에 대한 기울기와 y절편 두 파라미터를 찾는 문제가 될 것이다. 데이터는 1차원 x와 y가 N개 모여있다. x에서 y_hat으로 mapping 시키는 선형모델 그 기울기와 절편을 찾는..

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. Convolution & CNN [ 강의 소개 ] Convolution 연산과 다양한 차원에서의 연산방법을 공부합니다. Convolution 연산의 역전파에 대해 공부합니다. Convolution은 이미지나 영상 처리에 있어서 자주 활용되는 연산이다. Fully Connected Network에 비해 Convolutional Neural Network가 가지는 장점을 이해하고 그 역전파 연산에 대해 공부한다. https://setosa.io/ev/image-kernels/ Image Kernels explained visually An i..

모든 게시물은 macOS Monterey 12.0.1 버전 기준으로 작성하였습니다. 부스트캠프 AI Tech 3기를 위한 Pre-Course 를 토대로 작성하였습니다. 미분과 그래디언트 그리고 경사하강법 [ 강의 소개 ] 미분의 개념과 그래디언트 벡터에 대해 설명합니다. 경사하강법의 알고리즘과 실제 코드에서의 구현을 보여줍니다. 접선의 기울기를 활용하여 함수의 최솟값으로 향해 이동하는 원리를 바탕으로 경사하강법의 알고리즘과 수식을 이해할 수 있다. 특히, 변수가 벡터라면 편미분을 통해 구한 그래디언트 벡터를 통해 d차원으로 경사하강법을 확장할 수 있다. 비선형 모델, 신경망, softmax, 활성화함수, 역전파 알고리즘 [ 강의 소개 ] 선형모델은 단순한 데이터를 해석할 때 유용하지만 복잡한 문제 해결에..