12 Fri

[인공지능을 위한 선형대수] CHAPTER 3. Least Square

Least Squares Problem 소개

Over-determined Linare System

• #equations >> #variables

  • Usually no solution

  • 변수의 span보다 벡터의 차원이 더 크기 때문

Motivationf for Least Squares

• 그렇다고 해가 없다고 끝내지 말고 근사적으로 해를 구해보자! 하는 것이 Least Squares의 목표

Inner Product

• 같은 공간 내에 있는 두 개의 벡터의 내적은 element-wise 방식으로 곱해준 뒤 총합을 구해주는 것

• 두 개의 열벡터의 내적은 한 개의 벡터를 전치해준 뒤 곱해준다

• 속성

  • 참고로 $u \cdot v \neq u \cdot v^T$이다. u와 v를 내적한다는 것은 전치된 행렬과 곱해준다는 의미.

• 교환 법칙, 분배 법칙, 상수곱 성립

• 자기 자신의 내적과는 항상 0보다 크거나 같고 내적값이 0이면 벡터값도 0이다.

• 선형 결합 후 내적이나 내적 후 선형 결합을 하나 결과가 동일함을 의미

Vector Norm

• 벡터의 길이를 놈이라고 부른다

• (3, 4)의 길이는 $\sqrt{3^2 + 4^2} = 5$
• 이 때 기호로 ||v|| 와 같이 사용한다.

• 위와 같은 트릭을 많이 사용한다

Unit Vector

• 벡터가 주어졌을 때 방향은 바꾸지 않고 길이만 1로 바꾸어주는 정규화를 해줄 때 이 벡터를 유닛 벡터라고 한다.

Distance between Vectors in $R^n$

Inner Product and Angle Between Vectors

Orthogonal Vectors

• Orthogonal은 수직이라는 의미

• 두 벡터가 수직이면 두 백터의 내적은 0이다

  • cos(theta)가 0이기 때문 (cos90*2k =0)

Least Squares : Which is better

Least Sqaures Problem

• 목적 함수를 명확하게 정의해야 하는 과정이 첫번째

• 이 값을 최소로 만든 x가 무엇인지 => arg min_x

• Ax 가 정확하게 b가 되지 못하는 이유

  • A 컬럼 스페이스 안에 b가 포함 되지 않음

  • b와 가장 최소한으로 가까워 지는 x벡터를 찾기

  • 이 때 x는 A와 항상 선형결합하며 Ax는 항상 A의 컬럼스페이스 안에 존재

Least Squares와 그 기하학적 의미

• 항상 어떤 Ax보다 Ax_hat이 최단거리

  • 이 때 b와 Ax가 이루는 각도가 직각

  • Ax_hat은 항상 b와 수직 => b - b_hat 은 수직

• 자세히는 0이 아니라 영벡터를 의미

정규 방정식

Normal Equation

• 이 방정식을 푸는 것이 정규화

• 두 가지 경우 가능

  • 역행렬이 있을 경우

  

  • 역행렬이 없을 경우

• 역행렬이 있을 경우

• • 이 때 이 식을 미분해서 가장 최솟값을 찾음(미분값 = 0 이라고 대입)

  • 벡터의 미분은 쉽지 않쥬?

    • f(x) = $a^Tx$
    • f'(x) = $a$

• 만약 역행렬이 없다면

  • 해가 없거나 무수히 많거나

  • 그러나 해가 없을 수는 없음 => 직관적으로 어떤 점에서 평면으로 수선의 발을 내리지 못하는 경우는 없음 => 정량적 증명은 어려움

  • A의 열벡터가 각각 선형 독립이면 역행렬이 있고 그렇지 않다면 없다

  • 해가 무수히 많을 때는 여러가지의 선형 결합이 존재한다

• 일반적인 데이터 셋에서 역행렬이 없을 가능성은 거의 없다. (5% 미만)

  • 확률적으로 한 가지 식으로 모든 데이터를 표현하기는 어렵기 때문