(AI Math 3강) 경사하강법 - 순한맛

210805

미분이란

• 미분(differentiation)은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구로 최적화에서 제일 많이 사용하는 기법

• sym.diff 로 미분을 계산할 수 있다.

미분의 특징

• 미분은 함수의 접선의 기울기를 구할 때 사용한다.

  • 접선의 기울기가 양수일 때

    • x가 증가하면 함수값은 증가, 반대는 감소

  • 접선의 기울기가 음수일 때

    • x가 증가하면 함수값은 감소, 반대는 증가

• x에 미분값을 더하면 경사상승법이라 하며 함수의 극댓값의 위치를 구할 때 사용한다

• x에 미분값을 빼면 경사하강법이라 하며 함수의 극솟값의 위치를 구할 때 사용한다

• 한 점에서 접선의 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가/감소 하는지 알 수 있다

• 경사상승/하강 방법은 극값에 도달하면 움직임을 멈춘다

  • 극값에선 미분값이 0이기 때문

변수가 벡터라면

• 미분은 변수의 움직임에 따른 함수값의 변화를 측정하기위한 도구로 최적화에서 제일 많이 사용하는 기법이다.

• 벡터가 입력인 다변수 함수의 경우 편미분을 사용한다

• 각 변수 별로 편미분을 계산한 그레디언트 벡터를 이용하여 경사하강/상승 법에 사용할 수 있다

그레디언트 벡터

함수 f가 각 점에서 가장 빨리 증가(감소) 하는 방향으로 흐르게 되는 방향이다.