(01강) 딥러닝 기본 용어 설명 - Historical Review
210809
Introduction
딥러닝이라는 학문은 너무 큰 분야라 모든 분야를 다 커버할 수가 없다.
우리 수업에서는, 10번에 걸쳐서 꼭 알아야 하는 내용들만을 다룸
교수님이 생각하기에 필수적이라고 생각하는 부분
인공지능
인간의 지능을 모방하는 것
가장 큰 개념
머신러닝
인공지능 안에 있는 분야
데이터로 학습을 해서 알고리즘을 구현한 모델
딥러닝
머신러닝 안에 있는 분야
신경망을 사용하는 모델
딥러닝의 중요요소
학습할 데이터
데이터를 학습할 모델
학습할 모델의 비용함수
인자를 조정할 알고리즘
연구를 볼 때 이 4가지를 중점적으로 보면 연구를 잘 이해할 수 있다.
Data
데이터는 해결해야할 문제의 유형에 따라 결정된다
Classification : 이미지를 분류
Semantic Segmentation : 단순히 이미지를 분류할 뿐만 아니라 각 픽셀별로 어떠한 클래스에 속하는지 분류한다
Detection : 이미지 내에 클래스에 대해 바운딩박스를 찾는 것
Pose Estimation : 이미지 내에 2차원 정보 또는 3차원 정보를 찾는 것
Visual QnA : 이미지를 참고하여 질문이 주어졌을 때 답을 도출해 냈는 것
Model
같은 데이터가 주어지고 같은 문제가 주어졌더라도 모델의 종류에 따라 성능이 달라진다.
Loss
기준이 되는 비용함수를 정해야 한다
그러나, 각 문제별로 비용함수가 정해져 있는 것은 아니다. 회귀문제를 풀 때 노이즈가 많은 경우에는 에러가 높아지기 때문에 L1 Norm을 사용하는 등의 여러 방법이 있다.
중요한 것은 우리가 풀고자 하는 문제에 대해 Loss 함수가 줄어드는 것이 어떻게 작용되는 지, 그리고 왜 사용하는 지가 중요하다
Optimization Algorithm
신경망의 파라미터를 1차 미분한 정보를 활용한다.
SGD : 그냥 활용한다
그 이외 방법 : 여러 인자들을 곱해서 활용한다
그 외에도 규제화, 드랍 아웃 등을 통해 테스트 데이터에 대한 성능을 높이는 방법들이 있다
Historical Review
2012 - AlexNet
딥러닝을 이용해서 처음으로 수상한 모델
2013 - DQN
강화학습방법을 딥러닝에 적용한 것
알파고의 시작
오늘날의 딥마인드가 있게한 논문
2014 - Encoder / Decoder
단어의 연속이 주어졌을 때 다른 언어의 연속으로 바꿔주는 모델
2014 - Adam Optimizer
여러 옵티마이저가 있지만 Adam 이 성능이 잘나온다.
2015 - Generative Adversarial Network
이미지 생성기와 판별기로 구성되어있따
술이 너무 맛없어서 연구를 생각하다가 연구실로 가서 작성한 아이디어
2015 - Residual Networks
딥러닝의 딥러닝이 있게해준 논문
이전에는 신경망의 층이 깊을수록 성능이 안좋다고 했었음
ResNet이 등장하면서 층을 깊게 쌓아도 성능이 나올 수 있게 되었음
물론 너무 깊으면 다시 성능이 감소한다
2016 - Nothing
2017 - Transformer
Attention Is All You Need
기존의 방법론들을 대체한 모델
2018 - Bert
Bidirectional Encoder Representations from Transformers
딥러닝의 흐름을 바꾼 모델
위키피디아 같은 큰 말뭉치를 학습하고 해결하고자 하는 소수의 문제에 접근한다
2019 - BIG Language Models
GPT-3 같은 Language 모델 등장
다양한 단어와 문장을 만들 수 있음
굉장히 많은 파라미터가 있음
1750억개의 파라미터
2020 - Self Supervised Learning
학습 데이터외의 라벨이 없는 Unsupervised 이미지를 학습에 같이 사용하겠다는 아이디어
지도학습과 비지도학습의 융합물
Last updated
Was this helpful?