Deep Learning’s Most Important Ideas

Histrorical Review

• 2012 - AlexNet

  AlexNet은 5개의 컨볼루션(convolutional) 레이어와 3개의 완전 연결(fully connected) 레이어로 구성된 딥 컨볼루션 신경망

• 2013 - DQN

  DQN은 신경망으로 상태(state)를 입력으로 받아서 행동(action)을 출력하는 구성으로, Replay Memory, Target Network, Experience Replay 등의 기술을 사용

• 2014 - Encoder/Decoder

  Encoder/Decoder는 입력 데이터를 고정 길이 벡터로 인코딩하는 인코더 신경망과 이를 디코딩하여 출력을 생성하는 디코더 신경망으로 구성됩니다. Transformer과 함께 셀프 어텐션(self-attention) 메커니즘이 활용

• 2014 - Adam Optimizer

  Adam Optimizer는 경사 하강법(gradient descent) 알고리즘의 한 종류로, 운동량(momentum) 방법과 적응적 학습률(adaptive learning rate) 방법을 결합한 최적화 알고리즘

• 2015 - Generative Adversarial Network

  GAN은 생성자(generator)와 판별자(discriminator) 신경망으로 구성됩니다. 생성자는 무작위 노이즈에서 샘플을 생성하고, 판별자는 생성된 샘플과 실제 데이터를 구분하는 이진 분류기 역할을 한다

• 2015 - Residual Networks

  ResNet은 특정 레이어에서 입력 데이터를 그대로 출력으로 전달하는 잔차 연결(residual connection)을 사용하여 깊은 신경망의 학습을 용이하게 한다

• 2017 - Transformer

  Transformer는 인코더와 디코더로 구성되며, 입력 데이터를 셀프 어텐션 메커니즘으로 인코딩하고 디코딩한다. 또한 Multi-Head Attention, Positional Encoding 등의 기술을 활용

• 2018 - BERT(fine_tuned NLP models)

  BERT는 Transformer 아키텍처를 사용하여 사전 훈련된 언어 모델을 파인튜닝하는 방식으로 작동. 입력 문장의 양쪽 방향의 컨텍스트를 동시에 고려하는 Bidirectional Transformer Encoder 구조를 사용

• 2019 - BIG Language Models

  대부분 Transformer 아키텍처를 기반으로 하며, GPT-2와 같이 인코더와 디코더가 없는 모델도 있다

• 2020 - Self Supervised Learning

  셀프 슈퍼바이즈드 러닝은 사전 훈련된 신경망 모델을 사용하며, 이 모델은 주어진 입력 데이터로부터 유용한 표현을 학습. 이를 위해 다양한 자연어 처리와 컴퓨터 비전 작업에서 적용되는 사전 훈련(pre-training) 기술 중 하나로, 대표적인 예로는 Masked Language Modeling(MLM), Contrastive Predictive Coding(CPC), SimCLR 등이 있다.

  이러한 사전 훈련 기술들은 레이블이 없는 대규모 데이터셋을 이용하여 모델을 사전 훈련하고, 이후에 특정 작업(Task)에 맞게 파인튜닝하여 성능을 향상시킨다. 이러한 방식은 레이블링에 대한 비용 및 시간을 절약할 수 있고, 더 큰 데이터셋을 사용하여 높은 정확도를 달성할 수 있어 자연어 처리 및 컴퓨터 비전 분야에서 널리 사용되고 있다.