(09강) Generative Models 1

210813

Introduction

Generative model을 만든다, 학습한다라는 것은?

그럴듯한 이미지나 문장을 만드는 것이라고 보통 생각한다
그러나, 단순히 "생성"의 의미만을 가지는 것이 gen model의 전부는 아니다. 그것보다 더 많은 개념을 포함한다

Generation : 학습 데이터셋에 없는 강아지 사진을 만드는 것도 gen이 할수있는 일.
Density estimation : 강아지 같은지 아닌지 구별할 수 있는 능력
- 마치 분류모델과 같다.

어떤 모델이 Generative model이라고 하면, 그 모델은 단순히 generation 하는 능력뿐만 아니라 분류할 수 있는 능력까지 포함한다.

explicit model에 속한다. 입력이 주어졌을 때 입력에 대한 확률값을 얻어낼 수 있는 모델을 뜻한다.
feature learning : gen model은 unsupervised learning도 가능하다고 이야기 한다.

Basic Discrete Distributions

예를 한번 들어보자

한 픽셀당 표현할 수 있는 색은 몇가지일까?

256 * 256 * 256

그렇다면 색을 정의하기 위해 필요한 파라미터 수는 몇개일까?

바이너리 이미지(흑백 이미지)에서 픽셀이 n개라면 만들 수 있는 이미지의 경우의 수는 몇개일까?

$2^n$

그렇다면 차원이 n인 벡터 X가 n개 있다고 했을 때, 이 벡터를 정의하려면 필요한 파라미터 수는 몇개일까?

$2^n -1$

여기서, 요지는 n개의 픽셀을 구성할 때 조금 더 적은 파라미터를 사용할 수 없을까? 라는 것. 그래서 다음과 같은 가정을 둔다. 픽셀들은 서로 "Independent" 하다.

현재 픽셀이 주변 픽셀에게 영향을 주지 않고, 영향을 받지않는다는 뜻으로 해석하면 된다.

그렇게 되면 경우의 수는 똑같지만 필요한 파라미터 수는 n개만 있으면 된다.

각각의 픽셀은 베르누이 분포를 따르므로 필요한 모수는 확률 p 하나이다. 또 확률 p(x1, ... xn)에서 각각의 x는 독립이므로 joint distribution이 가능해서 각각의 확률곱 p(x1)p(x2)...p(xn) 으로 표현이 가능하다. 따라서 필요한 파라미터의 개수는 n이다.
그러나 이건 어디까지나 Independent Assumption이 작용했을 때의 이야기

Fully Dependent하면 파라미터수가 너무 많고, Independent 하자니 파라미터수는 줄어들어서 좋지만 표현할 수 있는 이미지가 적어지기 때문에 그 중간쯤을 찾는 것이 목표

그래서 Conditional Independence 를 사용하게된다.

Conditional Independence

기본적으로 쓰는 연쇄법칙이다. x의 독립/종속에 관계에서 항상 만족한다

마찬가지로 항상 만족하는 법칙

이는 항상 만족하지는 않다. z가 주어졌을 때 x와 y가 independent 하다면 만족한다.

체인룰을 사용할 때 필요한 파라미터 개수는 몇개일까?

난 이부분이 이해가 잘 안갔다가 질문하고 고민하고 한 끝에 이해했다

종속적: p(x2|x1)은 다음과 같이 두가지로 표현 가능 p(x2|x1=1)과 p(x2|x1=0)
p(x2|x1=1) 에서 필요한 x2를 결정하는확률 q1
p(x2|x1=0) 에서 필요한 x2를 결정하는 확률 q2
이 때 확률 q1과 q2가 필요하므로 종속적일 때는 세 개(p, q1, q2)의 파라미터 필요(2^n-1개)
만약 q1 = q2가 같다면 x1이 뭐든간에 x2의 확률이 같다는 것이므르 종속이라는 가정에 위배
독립적: p(x2|x1) = p(x2) 이므로 x2를 결정하는 확률 q 따라서, 독립적일 때는 두 개(p, q)의 파라미터 필요(n개)

이제 Markov assumption이라고 가정해보자. 그럼 확률은 다음과 같다.