Total Post33 [PyTorch] Weight Initialization Weight Initialization은 Local Minimum을 찾기 위한 시작점을 정해주는 방법이다. PyTorch를 통해 모델을 처음 만들게 되면 초기 Weight는 Random Initialization으로 되어 있다. 이는 Local Minimum을 찾아내기 위한 적절한 Initialization 방법이 아니다. 각 상황에 따라, 모델에 따라 적절한 Initialization 방법은 다르지만, 여기서 소개할 방법은 크게 두가지이다. 1. Xavier Initialization Xavier Initialization은 Xavier Glorot와 Yoshua Bengio가 만든 방법으로 인풋 채널과 아웃풋 채널에 따라 Gaussian Distribution 또는 Uniform Distributio.. 2022. 6. 30. [Calculus] 다변수 함수의 최대 최소 다변수 함수의 최대 최소 최대 최소 정리는 고등학교 시절에 많이 들어보았을 것이다. 닫힌구간에 정의된 연속 함수는 항상 최댓값과 최솟값을 갖는다는 정리이다. 우리는 이제 다변수 함수에 적용하면서 정의는 다음과 같아진다. "n차원 공간의 유계인 닫힌집합에서 정의된 연속함수는 최댓값과 최솟값을 갖는다." n차원 공간의 유계인 닫힌집합이라는 말이 이해가 잘 되지 않을 것이다. 이를 설명하기 위해서 열린 공(open ball)에 대해 먼저 알아보겠다. 열린 공(open ball) n차원 공간의 한 점 P를 중심으로 하고 반지름 길이가 r인(r>0) 열린 공을 기호 B^n(P, r)로 나타내었을 때, 아래 식을 만족하는 것을 뜻한다. 식을 해석하면 B는 중점 P에서 반지름 r로 생기는 원 혹은 구 내부를 뜻한다... 2022. 3. 6. [Calculus] 다변수 함수의 극한과 연속 다변수 함수의 극한과 연속 극한 저번에 이어서 이번에는 다변수 함수의 극한과 연속에 대해 알아보겠다. 극한에 대해 짧게 설명을 하자면, x가 a에 아주 가깝게 되면, f(x)가 L의 값에 가까워지게 된다는 뜻이다. 표기는 아래와 같이 한다. 수학을 공부하는 우리에게 이러한 설명은 의문을 갖게 한다. "가깝다는 기준이 뭐지?" 그래서 수학자들은 입실론 델타를 통해 증명을 한다. 이를 자세히 설명하지는 않겠지만 입실론과 델타라는 변수를 통해서 x가 a에 가까운 기준, f(x)가 L에 가까운 기준을 두는 것이다. 그럼 이제 다변수 함수의 극한의 예제를 보겠다. 아래 식은 x, y가 모두 0으로 접근할 때 극한값이 어떻게 되는지 확인하는 것이다. 한번 시간을 가지고 생각해 보면 좋을 것이다. 평소에 여러분들이 .. 2022. 2. 28. [Calculus] 다변수함수 다변수 함수(Multivariate Function) 오늘은 다변수 함수에 대해서 알아보려고 한다. 정의 먼저 위키피디아에서 확인할 수 있는 정의는 아래와 같다. "수학에서, 다변수 함수(多變數函數, 영어: multivariate function)는 둘 이상의 독립 변수를 갖는 함수이다. 보통 다변수 실함수와 다변수 복소함수를 가리킨다." 우리는 평소에 독립 변수가 한 개인 함수를 많이 보았다. 예를 들어 y = ax + b라는 1차 함수를 보자. x는 이 함수의 독립 변수이고, y는 종속 변수를 의미한다. 말 그대로 x는 어떠한 영향을 받지도 않는 독립된 상태이고, y는 x의 값에 따라 바뀌므로 x에 종속된 상태이다. 이제 다변수 함수를 보면, x와 같은 독립 변수가 다변수 함수에는 여러개인 것을 의미.. 2022. 1. 6. [논문 리뷰] Positional Encoding as Spatial Inductive Bias in GANs Positional Encoding as Spatial Inductive Bias in GANs Abstract SinGAN과 같은 translation invariant convoluitional generator가 어떻게 전반적인 구조를 잡는지 생각해보게 된다. 이 논문에서는 SinGAN과 SinGAN2가 zero padding으로부터 implicit position information을 얻는 것을 보여준다. 이러한 position encoding은 이미지를 생성할 때 필수 요소이다. 그리고 이것은 SinGAN 뿐만 아니라 DCGAN, PGGAN에서도 마찬가지이다. 또한, zero padding은 unblanced spatial bias를 제공한다. 이를 해결하기 위해 여기서는 다른 몇 가지 방법을.. 2021. 9. 7. [논문 리뷰] Position, Padding and Predictions: A Deeper Look at Position Information in CNNs Position, Padding and Predictions: A Deeper Look at Position Information in CNNs Abstract CNN은 fully connected networks에 비해 엄청난 성능을 보여주었다. 이 논문에서 정확한 위치 정보를 갖고 있는지 실험한다. 최적의 위치 정보를 encode 하는 방법은 무엇인지 확인하고, 위치 정보가 semantic representations에 어떤 영향을 끼치는지 확인한다. 위치 정보가 항상 성능을 개선시키는지 확인한다. 결과적으로 위치 정보가 도움이 될 수도 있고 성능을 해칠 수도 있다는 것을 알게 된다. 1. Introduction Section 3까지 이전 논문에서 다뤘던 내용이기 때문에 간단하게 정리하도록 하겠다. .. 2021. 8. 5. 이전 1 2 3 4 5 6 다음
