모든 게시물은 macOS Monterey 12.0.1 버전을 기준으로 작성하였습니다.
부스트캠프 AI Tech 3기 예비 캠퍼를 위한 Pre-Course 강좌를 바탕으로 작성하였습니다.
[ Key Components of Deep Learning ]
1. Data that the model can learn from
2. Model how to transfrom the data
3. Loss Function that quantifies the badness of the model
4. Algorithm to adjust the parameters to minimize the loss
새로운 연구나 논문을 볼 때도 위 네 가지 항목을 기준으로 바라본다면
해당 연구가 기존 연구에 비해 어떤 장점과 Contribution이 있는지 이해하기 쉽다.
Historical Review
<< 2012 AlexNet >>
224x224 이미지를 분류하는 이미지넷 대회에서 처음으로 딥러닝을 활용한 우승.
<< 2013 DQN >>
이세돌과 알파고. Deepmind에서 아타리 게임을 강화학습 통해 해결.
구글 인수로 오늘날 딥마인드까지 발전.
<< 2014 Encoder / Decoder >>
Neural Machine Translation 문제를 풀기 위해 등장.
Encoder : 한자 단어 sequence를 벡터로 인코딩.
Decoder : 벡터를 영어 단어 sequence로 디코딩.
<< 2014 Adam Optimizer >>
모델 학습을 할 때 그냥 Adam을 사용하는데 이유는?
잘 나와서. 다양한 Hyperparameter Search를 통하여 최선의 성능을 뽑아낸다.
<< 2015 Generative Adversarial Network >>
이미지나 텍스트를 어떻게 만들어낼까? 딥러닝에서 굉장히 자주 다뤄지는 소재.
Generator vs Discriminator
<< 2015 Residual Networks >>
이 연구 덕분에 딥러닝이 딥러닝일 수 있었다. Network가 너무 깊어지면 테스트 성능이 좋지 않았다.
Residual Network의 방법론을 통해 학습망의 깊이를 더 깊게 만들어도 성능을 유지할 수 있었다.
<< 2017 Attention Is All You Need >>
웬만한 RNN 구조를 다 대체하였을 정도로 Multi head attention 구조를 이해하는 것은 중요하다.
왜 더 좋은 성능을 보였는 지에 대하여 다룰 예정.
<< 2018 BERT >>
트랜스포머 구조를 활용하는데 Bidirectional Encoder를 사용.
fine-tuned NLP models이라는 점에서 의미를 가진다.
위키피디아와 같은 큰 말뭉치를 통해 학습을 한 뒤에 원하는 Task에 맞추어 Fine-Tuning
<< 2019 BIG Language Models >>
fine tuning 하는데 사용할 수 있는 GPT-3, an autoregressive language model with 175 billion parameters.
<< 2020 Self Supervised Learning >>
SimCLR : a simple framework for contrastive learning of visual representations.
분류 문제를 풀고 싶은데 학습 데이터가 한정적. 지금까지는 모델을 바꾸거나 로스를 바꾸어
좋은 결과를 내왔다면 이제는 학습 데이터 외에 Label이 없는 데이터도 활용하겠다는 것.