24 Sat

딥러닝 CNN 완벽 가이드 - Fundamental 편

Tensorflow 2.X 와 tf.keras 소개

텐서플로우 2.0이 19년도 1월에 나왔음

이 버전 이전에는 케라스가 단독으로 있었는데 버전 이후에는 텐서플로우 내부 패키지로 포함된다.

기존 케라스 보다 텐서플로우 서브 패키지인 케라스를 권장한다

# 2.0 이전
from keras.layers import Dense

# 2.0 이후
from tensorflow.keras.layers import Dense

이미지 배열의 이해

Image 색상 모델

• 이미지는 0부터 255까지의 수로 이루어진 픽셀로 표현한다

  • 0은 Black, 255는 White

• Grayscale : height * width 형태의 2차원 배열

• Color : height * width * channel 형태의 3차원 배열

배열 차원

• 여러 장의 Grayscale 이미지 : 3차원

• 여러 장의 RGB 이미지 : 4차원

텐서 모델 구축시 항상 3차원의 형태로 넣어야 한다.

• 기본적으로 낱장의 기준을 3차원으로 보기 때문(?)

• 뒤에서 다시 다룰 것

Dense Layer로 Fashion MNIST 예측 모델 구현하기 - 이미지 데이터 확인 및 사전 데이터 처리

import matplotlib.pyplot as plt
%matplotlib inline 

class_names = ['T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat','Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot']

def show_images(images, labels, ncols=8):
    figure, axs = plt.subplots(figsize=(22, 6), nrows=1, ncols=ncols)
    for i in range(ncols):
        axs[i].imshow(images[i], cmap='gray')
        axs[i].set_title(class_names[labels[i]])
        
show_images(train_images[:8], train_labels[:8], ncols=8)
show_images(train_images[8:16], train_labels[8:16], ncols=8)

• plt.subplots 은 막대 그래프를 생성한다. axs는 각 n번째 막대그래프

성능이 준수하게 나온 이유는 물체가 이미지 정 중앙에 위치하기 때문.

• 1차원으로 입력을 받기 때문에 성능이 안좋게 나와야 정상!

• 2차원으로 입력받지 않았으므로 이미지의 지역적 특성을 전혀 고려하지 않은 입

Dense Layer로 Fashion MNIST 예측 모델 구현하기 - 모델 설계 및 학습 수행

from tensorflow.keras.layers import Dense, Flatten
from tensorflow.keras.models import Sequential

model = Sequential([
    Flatten(input_shape=(INPUT_SIZE, INPUT_SIZE)),
    Dense(100, activation='relu'),
    Dense(30, activation='relu'),
    Dense(10, activation='softmax')
])

model.summary()

• Dense는 레이어를 생성하는 함수

• Dense는 1차원 데이터만 입력 받을 수 있다. 따라서 Flatten으로 1차원 데이터로 변환한다

Keras Layer API 개요

케라스가 좋은 이유는 레이어 구성이 편하기 때문

• Dense layer(activate=None) + Activation layer(sigmoid)= Dense layer(activate=sigmoid)

• Core layers, Pooling layes, Convolution layes, Activation layers 등이 다양하게 존재한다.

Dense Layer로 Fashion MNIST 예측 모델 구현하기 - 예측 및 성능 평가

history = model.fit(x=train_images, y=train_oh_labels, batch_size=32, epochs=20, verbose=1)

• 모델에서 입력을 3차원(2차원 그레이스케일 여러장)으로 넣었지만 실제로 모델은 2차원으로 입력을 간주하게 된다.

• 따라서, 사진을 단일로 입력할 때는 차원 변환을 해줘야 한다.

  • 만약 (10000, 28, 28) 이 었다면 한장을 넣을 때 (28, 28)로 입력이 되므로 에러가 난다.

  • (1, 28, 28)로 바꿔서 입력값에 넣어줘야 한다.

• 이것을 담당하는 함수가 np.expand_dims 이다.

  • np.expand_dims(test-images[0], axis=0).shape

  • (1, 28, 28)

• 이 때 필요하다면 출력값의 모양도 바꿔줘야 한다. 출력이 (1, 28, 28)로 나올 것이기 때문

모델 성능 검증

• model.evaluate 를 사용한다.

  • 테스트 데이터에 대한 평가를 한다.

Dense Layer로 Fashion MNIST 예측 모델 구현하기 - 검증 데이터를 활용하여 학습 수행

학습 데이터가 과적합 되었는지를 확인하기 위해 검증 데이터를 평가해봐야 한다. 이 때 학습 데이터를 모니터링 하는 것이 아니라 검증 데이터를 모니터링 한다.

• 어차피 학습 데이터의 에러는 줄어들 것이기 때문에

또한 검증 데이터의 성능이 좋아 지지 않을 때 Callback을 사용하여 학습률을 보정 작업할 수 있다.

일반적으로 검증 데이터는 테스트 데이터에서 쪼개서 사용한다.

• 이를 가능하게 하는 함수는 사이킷런에서 지원한다.

from sklearn.model_selection import train_test_split
from tensorflow.keras.utils import to_categorical

# 기존 학습 데이터를 다시 학습과 검증 데이터 세트로 분리
tr_images, val_images, tr_labels, val_labels = train_test_split(train_images, train_labels, test_size=0.15, random_state=2021)
print('train과 validation shape:', tr_images.shape, tr_labels.shape, val_images.shape, val_labels.shape)

• random_state=2021 : 학습 데이터와 검증 데이터가 분리될 때 매번 다르게 분리되는 것을 막기 위해 seed를 정한다.

history = model.fit(x=tr_images, y=tr_oh_labels, batch_size=128, validation_data=(val_images, val_oh_labels), 
                    epochs=20, verbose=1)

• 학습 데이터같은 경우는 데이터와 라벨이 분리되서 입력되지만 검증 데이터 같은 경우는 튜플로 입력한다.

• 또한, model.fit 자체에서도 검증데이터 분리 기능을 제공한다.

  • 미리 만들어서 validation_date에 넣어도 되고

  • 만들지 않고 validation_split을 설정해도 된다.

일반적으로 학습 데이터를 기준으로 GD를 하기 때문에 보통 학습 데이터에 대한 정확도가 더 높은 편이다. 바람직한 것은 학습 데이터의 정확도보다 교차 검증 데이터의 정확도가 더 높거나 혹은 동일한 경우이다.

import matplotlib.pyplot as plt
%matplotlib inline

plt.plot(history.history['accuracy'], label='train')
plt.plot(history.history['val_accuracy'], label='valid')
plt.legend()

• 다음과 같이 plt.plot 과 plt.legend() 를 이용하여 그래프를 볼 수 있다.

• 학습이 진행될수록 간격이 멀어지는 것을 알 수 있다.