25 Mon

TIL

[AI 스쿨 1기] 8주차 DAY 1

Deep Learning: 신경망의 기초 - 심층학습기초 II

컴퓨티 비전의 어려운 점

• 관점의 변화 : 동일한 객체라도 영상을 찍는 카메라의 이동에 따라 모든 픽셀값이 변화됨

• 경계색(보호색)으로 배경과 구분이 어려운 경우

• 조명에 따른 변화

• 기형적인 형태의 영상 존재

  • EX) 고양이가 누워있거나 앉아있거나 뒤집어 있는 사진

• 일부가 가려진 사진

• 같은 종류 간의 변화가 큼

  • EX) 흰색 고양이, 줄무늬가 많은 고양이 등

컨볼루션 신경망

• 컨볼루션층 : CONV

  • 분류, 검색, 검출, 분할 등의 목적을 가지고 영상 분야에서 다양하게 활용됨

• 풀링층 : POOL

• 전체구조

DMLP와 CNN의 비교

• DMLP

  • 완전 연결 구조로 높은 복잡도

  • 학습이 매우 느리고 과잉적합 우려

• CNN

  • 컨볼루션 연산을 이용해서 부분 연결(희소 연결)로 높지 않은 복잡도

  • 컨볼루션 연산은 좋은 특징 추출

  • 왜 CNN으로도 성능이 나올까?

    • 이미지의 지역성 때문

    • 이미지 내에서는 서로 가까운 두 점이 서로 멀은 두 점보다 관련성이 있을 가능성이 높다

  • 격자 구조(영상, 음성 등)를 갖는 데이터에 적합하다

  • 수용장(receptive field)은 인간시각과 유사

  • 가변 크기의 입력 처리 가능

CNN의 완전 연결 신경망과 차별

• 학습에 의해 결정된 복수의 커널들에 대응되는 특징들을 추출한다

  • 완전 연결은 모든 부분을 다 연결

  • 각 층의 입출력의 특징형상이 유지 된다 (특징맵)

  • 영상의 공간 정보를 유지하면서 공간적으로 인접한 정보의 특징을 효과적으로 인식

  • 각 커널은 파라미터를 공유함으로써 완전 연결 신경망 대비 학습 파라미터가 매우 적음

• 추출된 영상의 특징을 요약하고 강화하는 층 : Pooling

  • 효율적인 처리를 위해 추가되는 층

• 가변 크기의 데이터를 다룰 수 있다

  • 완전 연결 신경망은 특징 벡터의 크기가 달라지면 연산 불가능

컨볼루션(합성곱) 연산

• 내적을 구하는 연산이지만 전체 대 전체가 아니라 부분 대 전체(필터 전체)가 매칭된다. 부분 대 부분이라고 말할 수도 있다(필터가 이미지 크기에 비해 작으므로)

• 해당하는 요소끼리 곱하고 결과를 모두 더하는 선형 연산

• 영상에서 특징을 추출하기 위한 용도로 사용됨 ( = 공간 필터)

• 덧대기

  • 패딩과 같은 의미

  • 가장자리에서 영상의 크기가 줄어드는 효과 방지(각 층의 입출력의 특징형상 유지)

  • 요즘은 제로패딩을 많이 사용

• 편향

• 가중치 공유

  • weight sharing or parameter sharing

  • 묶인 가중치

  • 모든 노드가 동일한 커널을 사용

• 다중 특징 맵 추출

  • 커널의 값에 따라 커널이 추출하는 특징이 달라짐

  • EX)

    • 수직방향, 수평항뱡, 모서리 추출

  • 따라서 하나의 커널만 사용하면 너무 빈약한 특징이 추출됨

  • 실제로는 수십~수백 개의 커널을 사용

• CNN의 특성

  • 이동에 동변 : 신호가 이동하면 이동 정보가 그대로 특징 맵에 반영

  • 영상 인식에서 물체 이동이나 음성 인식에서 발음 지연에 효과적으로 대처

  • 병렬 분산 구조

    • 각 노드는 독립적으로 계산 가능하므로 병렬 구조

    • 노드는 깊은 층을 거치면서 전체에 영향을 미치므로 분산 구조

  • 큰 보폭에 의한 다운 샘플링

    • 보폭이 1일 경우 모든 화소에 커널이 적용

  • 텐서 적용

    • 3차원 이상의 구조에도 적용 가능

풀링 연산의 특성

• 풀링은 상세 내용에서 요약 혹은 통계적 대표성을 추출함

• 작은 변화에 둔감 => 물체 인식이나 영상 검색 등에 효과적

• 최근 추세는 풀링을 사용하지 않고 컨볼루션 층만 사용하는 것