12 Fri

[인공지능을 위한 선형대수] CHAPTER 3. Least Square

Least Squares Problem 소개

Over-determined Linare System

  • #equations >> #variables

    • Usually no solution

    • 변수의 span보다 벡터의 차원이 더 크기 때문

Motivationf for Least Squares

  • 그렇다고 해가 없다고 끝내지 말고 근사적으로 해를 구해보자! 하는 것이 Least Squares의 목표

Inner Product

  • 같은 공간 내에 있는 두 개의 벡터의 내적은 element-wise 방식으로 곱해준 뒤 총합을 구해주는 것

  • 두 개의 열벡터의 내적은 한 개의 벡터를 전치해준 뒤 곱해준다

  • 속성

    • 참고로 u⋅v≠u⋅vT u \cdot v \neq u \cdot v^T 이다. u와 v를 내적한다는 것은 전치된 행렬과 곱해준다는 의미.

  • 교환 법칙, 분배 법칙, 상수곱 성립

  • 자기 자신의 내적과는 항상 0보다 크거나 같고 내적값이 0이면 벡터값도 0이다.

  • 선형 결합 후 내적이나 내적 후 선형 결합을 하나 결과가 동일함을 의미

Vector Norm

  • 벡터의 길이를 놈이라고 부른다

  • (3, 4)의 길이는 32+42=5 \sqrt{3^2 + 4^2} = 5

  • 이 때 기호로 ||v|| 와 같이 사용한다.

  • 위와 같은 트릭을 많이 사용한다

Unit Vector

  • 벡터가 주어졌을 때 방향은 바꾸지 않고 길이만 1로 바꾸어주는 정규화를 해줄 때 이 벡터를 유닛 벡터라고 한다.

Distance between Vectors in Rn R^n

Inner Product and Angle Between Vectors

Orthogonal Vectors

  • Orthogonal은 수직이라는 의미

  • 두 벡터가 수직이면 두 백터의 내적은 0이다

    • cos(theta)가 0이기 때문 (cos90*2k =0)

Least Squares : Which is better

Least Sqaures Problem

  • 목적 함수를 명확하게 정의해야 하는 과정이 첫번째

  • 이 값을 최소로 만든 x가 무엇인지 => arg min_x

  • Ax 가 정확하게 b가 되지 못하는 이유

    • A 컬럼 스페이스 안에 b가 포함 되지 않음

    • b와 가장 최소한으로 가까워 지는 x벡터를 찾기

    • 이 때 x는 A와 항상 선형결합하며 Ax는 항상 A의 컬럼스페이스 안에 존재

Least Squares와 그 기하학적 의미

  • 항상 어떤 Ax보다 Ax_hat이 최단거리

    • 이 때 b와 Ax가 이루는 각도가 직각

    • Ax_hat은 항상 b와 수직 => b - b_hat 은 수직

  • 자세히는 0이 아니라 영벡터를 의미

정규 방정식

Normal Equation

  • 이 방정식을 푸는 것이 정규화

  • 두 가지 경우 가능

    • 역행렬이 있을 경우

    • 역행렬이 없을 경우

  • 역행렬이 있을 경우

    • 이 때 이 식을 미분해서 가장 최솟값을 찾음(미분값 = 0 이라고 대입)

    • 벡터의 미분은 쉽지 않쥬?

      • f(x) = aTx a^Tx

      • f'(x) = a a

  • 만약 역행렬이 없다면

    • 해가 없거나 무수히 많거나

    • 그러나 해가 없을 수는 없음 => 직관적으로 어떤 점에서 평면으로 수선의 발을 내리지 못하는 경우는 없음 => 정량적 증명은 어려움

    • A의 열벡터가 각각 선형 독립이면 역행렬이 있고 그렇지 않다면 없다

    • 해가 무수히 많을 때는 여러가지의 선형 결합이 존재한다

  • 일반적인 데이터 셋에서 역행렬이 없을 가능성은 거의 없다. (5% 미만)

    • 확률적으로 한 가지 식으로 모든 데이터를 표현하기는 어렵기 때문

Previous13 SatNext11 Thu

Last updated

Was this helpful?