Total Post31 [선형대수학] System of Linear Equations System of Linear Equations 선형대수학(Linear Algebra) 같은 경우는 영어로 배우는 것이 낫다고 생각되어 여기서 사용하는 단어는 모두 영어를 사용할 예정이다. 설명은 한국어로 하겠지만, 단어와 주제는 모두 영어이다. Linear Equation 먼저 Linear Equation에 대한 설명이 필요하다. 흔히 우리가 알고 있는 1차 방정식을 일컫는다. Linear Equation을 공식화하면 다음과 같다. 위의 식에서 a1, a2, ... , an, b 등은 coefficients라고 한다. 우리가 흔히 알고 있는 계수라고 생각하면 된다. n의 갯수는 양의 정수로 얼마든지 커질 수 있다. 책에서는 2~5 정도의 크기로 나오지만, real-life에서는 50개나 5000개와 같.. 2022. 8. 9. [Calculus] 방향미분과 미분가능성 방향미분과 미분가능성 우리는 이전까지 편미분을 통해 좌표축과 나란한 방향의 함수의 변화율을 살펴보았다. x, y 방향의 변화율은 계산할 수 있었지만 우리가 원하는 방향의 변화율은 계산할 수 없었는데, 이를 해결할 방법이 바로 방향 미분이다. 방향미분 단위벡터 v와 열린 집합 U에서 정의된 함수 f에 대하여 한 점 P에서의 주어진 방향 v로의 순간변화율을 f의 v-방향미분이라고 한다. 이 식을 통해 다변수 함수의 방향미분을 계산하면 식이 복잡함을 알 수 있다. 이를 gradient를 통해 간단히 계산하기 위해 우리는 먼저 미분가능성을 알아보아야 한다. 미분가능성 아래와 같은 식을 만족하는 벡터 A가 존재하면 f(X)가 점 P에서 미분 가능하다고 한다. 우리는 미분가능성과 방향미분간의 관계를 정리할 수 있다.. 2022. 8. 8. [Calculus] 접평면과 근사식 접평면과 근사식 기울기벡터(gradient) 열린 집합에서 정의된 함수 f의 점 P에서 모든 편미분이 존재할 때 이 편미분을 성분으로 하는 벡터를 기울기벡터라고 한다. 표기는 아래와 같이 나타낸다. 기울기벡터는 점 P에서 f의 미분계수라고도 한다. 예시를 들어보자, 아래는 이변수함수 f(x,y)이다. 이때 P=(x,y)에서 gradient f를 구하는 방법은 다음과 같다. 이렇게 확인할 수 있는 것은 x방면에서 보았을 때는 기울기 2의 직선의 모습을 관찰할 수 있고, y방면에서 보았을 때는 기울기 3의 직선을 확인할 수 있다는 것이다. 이것을 통해 우리는 다변수함수의 그래프 개형을 추측할 수 있다. 접평면(tangent plane) z=f(x, y)의 편도함수가 모두 연속함수일 때, 이 함수의 그래프의 .. 2022. 8. 7. [Calculus] 편미분 편미분 편미분 (Partial Derivative)는 다른 변수는 상수로 취급하고, 한 가지 변수로만 미분하는 것을 말한다. 앞에서 우리는 다변수함수에 대해 배웠다. 변수가 여러개일 경우 편미분을 이용하여 원하는 도함수를 얻을 수 있다. 아래는 예시는 f(x,y) 함수를 x로 미분하는 것이다. 기존의 알던 미분 공식에서 변수가 x, y로 늘어난 것이다. x로 미분한 편도함수는 아래 첨자에 x를 표시한다. 우리는 2계 미분을 사용하곤 한다. 편미분도 당연하게 2계 편미분이 존재한다. 우리는 아래와 같은 기호들로 나타낸다. 오일러 정리 우리는 변수가 2개일 때 2계 편미분을 총 4개를 구할 수 있다. (fxx, fxy, fyx, fyy) 직접 구해보면 알겠지만 많은 경우 fxy와 fyx가 같다. 이는 f의 .. 2022. 8. 6. [PyTorch] Weight Initialization Weight Initialization은 Local Minimum을 찾기 위한 시작점을 정해주는 방법이다. PyTorch를 통해 모델을 처음 만들게 되면 초기 Weight는 Random Initialization으로 되어 있다. 이는 Local Minimum을 찾아내기 위한 적절한 Initialization 방법이 아니다. 각 상황에 따라, 모델에 따라 적절한 Initialization 방법은 다르지만, 여기서 소개할 방법은 크게 두가지이다. 1. Xavier Initialization Xavier Initialization은 Xavier Glorot와 Yoshua Bengio가 만든 방법으로 인풋 채널과 아웃풋 채널에 따라 Gaussian Distribution 또는 Uniform Distributio.. 2022. 6. 30. [Calculus] 다변수 함수의 최대 최소 다변수 함수의 최대 최소 최대 최소 정리는 고등학교 시절에 많이 들어보았을 것이다. 닫힌구간에 정의된 연속 함수는 항상 최댓값과 최솟값을 갖는다는 정리이다. 우리는 이제 다변수 함수에 적용하면서 정의는 다음과 같아진다. "n차원 공간의 유계인 닫힌집합에서 정의된 연속함수는 최댓값과 최솟값을 갖는다." n차원 공간의 유계인 닫힌집합이라는 말이 이해가 잘 되지 않을 것이다. 이를 설명하기 위해서 열린 공(open ball)에 대해 먼저 알아보겠다. 열린 공(open ball) n차원 공간의 한 점 P를 중심으로 하고 반지름 길이가 r인(r>0) 열린 공을 기호 B^n(P, r)로 나타내었을 때, 아래 식을 만족하는 것을 뜻한다. 식을 해석하면 B는 중점 P에서 반지름 r로 생기는 원 혹은 구 내부를 뜻한다... 2022. 3. 6. 이전 1 2 3 4 5 6 다음
