[Calculus] 라그랑주 승수법 (Lagrange Multiplier Method)

라그랑주 승수법 (Lagrange Multiplier Method)

지금까지 함수의 최대 최솟값을 찾을 때는 임계점과 경계점의 값을 비교했다. 라그랑주 승수법은 등위면 위에서 함수의 최대 최솟값을 찾는 방법이다. 열린 집합에서 정의된 함수 f와 g가 미분 가능할 때, g의 등위면 g = c를 만족하는 점 중 P에서 f가 극대 혹은 극솟값을 갖는다고 하자. 이때 P에 대한 g의 Gradient가 0-벡터가 아니면 아래 식을 만족하는 실수 람다(lambda)가 존재한다.

위의 식에서 g = c를 제약조건 (Constraint), f를 목적함수(Objective Function)라고 한다. 

 

이를 증명해보자.

 

제약조건 g = c 위의 점 P를 지나는 미분 가능한 곡선의 매개변수식을 X(t)라고 하고 X(0) = P로 두자.

 

위에서 점 P에서 극대 혹은 극솟값을 가진다고 하였으므로, t = 0이 f(X(t))의 극점이라고 할 수 있다. 따라서 이 점에서 미분은 0이 되어야 하고, 아래 식을 만족한다.

g(X(t)) = c로 상수 함수이다. 따라서 미분 또한 0이 되고, 아래 식을 만족한다.

따라서 기울기 벡터가 0이 아니라면 두 기울기 벡터가 모두 X'(0)에 수직 하기 때문에, 두 벡터는 어떤 상수(lambda)로 곱해진 형태로 표현이 가능하다.

 

라그랑주 승수법은 일상생활에서 흔히 사용된다. 우리가 배운 목적함수 f는 우리가 지금 만들고 있는 모델인 것이고, 제약조건 g는 현실적인 상한선인 것이다. 경제학, 머신러닝 등에 사용된다.

 

참고 문헌: 반전학습을 위한 다변수 미적분학(경문사)