11 Thu

[파이썬 딥러닝 파이토치] PART 04 Computer Vision

05 Transfer Learning

전이학습

• 미리 학습해 놓은 딥러닝 모델을 가져와 재학습(Fine-tuning)시키는 방법

• 데이터가 부족해서 딥러닝 모델을 학습시키기 어려울 때 사용

• 이 때 FC. 이전의 가중치는 학습시키지 않으며 이를 Freezing 한다고 한다. 이 과정을 Fine-tuning 이라고 한다.

• Pre-Trained Model이 수많은 데이터에 대해 학습시켜 놓았기 때문에 그들의 Feature를 활용하는 것이다. 예를 들면 이 모델은 고양이, 개 뿐만 아니라 사람, 트럭, 곤충, 집 등 다양한 이미지의 Feature를 학습시켰을 것이기 때문에 우리가 원하는 Feature도 학습시켰을 가능성이 높음.

• FC. 이후의 가중치만을 학습하며 Output Layer의 Dimension을 수정

• Pre-Trained Model의 가중치를 그대로 사용하므로 Weight의 Initialization 기법으로 성능을 높인 방법으로 볼 수 있음

74KB

CIFAR-10_ResNet18_TransferLearning.ipynb

CIFAR-10_ResNet18_TL