Total Post32 [Calculus] 라그랑주 승수법 (Lagrange Multiplier Method) 라그랑주 승수법 (Lagrange Multiplier Method) 지금까지 함수의 최대 최솟값을 찾을 때는 임계점과 경계점의 값을 비교했다. 라그랑주 승수법은 등위면 위에서 함수의 최대 최솟값을 찾는 방법이다. 열린 집합에서 정의된 함수 f와 g가 미분 가능할 때, g의 등위면 g = c를 만족하는 점 중 P에서 f가 극대 혹은 극솟값을 갖는다고 하자. 이때 P에 대한 g의 Gradient가 0-벡터가 아니면 아래 식을 만족하는 실수 람다(lambda)가 존재한다. 위의 식에서 g = c를 제약조건 (Constraint), f를 목적함수(Objective Function)라고 한다. 이를 증명해보자. 제약조건 g = c 위의 점 P를 지나는 미분 가능한 곡선의 매개변수식을 X(t)라고 하고 X(0) =.. 2022. 8. 22. [선형대수학] The Matrix Equation The Matrix Equation Matrix Equation의 기본적인 아이디어는 Vector의 Linear Combination을 Matrix의 곱 연산으로 표현할 수 있다는 것이다. 만약 A가 mxn Matrix이고, Column이 a1, ... , an으로 이루어져 있고, x는 Rn의 벡터라면 Ax는 x의 Entry를 계수로 하는 A의 Column Vector의 Linear Combination이고 아래와 같이 표현할 수 있다. 그럼 이제 Matrix Equation을 앞에서 배운 개념과 연관 지어 보자. A와 x는 위와 같고, b가 m차원 벡터라면, Matrix Equation을 Ax = b라고 말할 수 있다. 이는 또한 위의 개념을 이용하여 vector equation 형식으로 다음과 같이 .. 2022. 8. 19. [Calculus] 다변수함수의 최대 최소 다변수함수의 최대 · 최소 수학에서는 항상 최대 최소 값을 구하고 싶어 한다. 공학자인 우리가 수학을 공부하는 이유도 그중에 하나일 것이다. 무엇이든지 최적의 값을 찾는 게 중요하기 때문이다. 최댓값에 대해 알아보려면 우리는 먼저 극값에 대해 먼저 알아야 한다. 극값 (local extreme value), 극점 (local extreme point) 열린집합에서 정의된 함수 f와 점 P에 대해 P를 포함하는 어떤 열린 공 B가 있어서 모든 점 X에 대해 f(P) = f(X)이면 f(P)를 극댓값(local maximum), P를 극대점이라고 한다. 극댓값과 극솟값을 극값, 극대점과 극소점을 극점이라고 한다. 우리는 위의 내용을 고등학생 시절에도 배웠을 것이다. 극값, local extreme value.. 2022. 8. 18. [선형대수학] Vector Equations Vector Equations Vectors in R2 Vector에 대한 자세한 정의는 이후에 Vector Space를 정의할 때 소개하도록 하겠다. 그전까지는 Vector는 그냥 순서가 정해진 숫자의 나열이라고 생각하자. 예를 들어 R2에 존재하는 Vector를 생각해보자. Column이 1개이면 Column Vector 혹은 그냥 Vector라고 부른다. 여기서 R2는 Real Number(실수), 2는 각 Vector가 2개의 Entries를 갖고 있다는 것이다. R2에서 Vector가 Equal 하려면 각 Entry 모두가 같아야 한다. 예를 들어서 (7, 4)와 (4, 7) Vector는 순서가 다르기 때문에 서로 다른 것이다. 벡터의 합은 다들 알겠지만, 각 Entry의 값을 더하면 된다. .. 2022. 8. 17. [논문 리뷰] ResNet Deep Residual Learning for Image Recognition Abstract 모델이 깊어질수록 학습을 하는 것도 더 어려워진다. 이를 해결하기 위해 이 논문에서는 Residual Learning Framework를 소개한다. 이를 통해 모델의 깊이가 깊어지면서 정확도도 상승하게 되었다. 152개의 Layer를 쌓았음에도 VGG보다 복잡도가 낮았다. ImageNet Dataset에 대해서 3.57% Error를 달성하며 ILSVRC 2015 Classification Task에서 1등을 차지하였다. 1. Introduction 딥러닝 모델은 Image Classification에 돌파구를 마련했다. 모델의 Layer수가 증가할수록 학습할 수 있는 Feature가 달라지게 된다. 그렇기 .. 2022. 8. 15. [선형대수학] Row Reduction and Echelon Forms Row Reduction and Echelon Forms 저번 포스팅에서 Linear System의 Existence와 Uniqueness에 대한 정의만 내렸었다. 이번에는 그것들을 어떻게 분석하고 조사하는지 알아볼 예정이다. Echelon Forms Rectangular Matrix가 Echelon Form을 만족하려면 다음 세 가지 Properties를 만족해야 한다. 모든 0이 아닌 row들은 0인 row 위에 존재해야 한다. 각 Row의 Leading Entry는 위의 Row보다 Column기준 오른쪽에 존재해야 한다. 모든 Leading Entry들의 아래에 존재하는 Entry들은 0이어야 한다. Leading Entry가 모두 1이다. (0이 아닌 Row에 대하여) 1인 Leading Entr.. 2022. 8. 11. 이전 1 2 3 4 5 6 다음
