딥러닝12 [PyTorch] Weight Initialization Weight Initialization은 Local Minimum을 찾기 위한 시작점을 정해주는 방법이다. PyTorch를 통해 모델을 처음 만들게 되면 초기 Weight는 Random Initialization으로 되어 있다. 이는 Local Minimum을 찾아내기 위한 적절한 Initialization 방법이 아니다. 각 상황에 따라, 모델에 따라 적절한 Initialization 방법은 다르지만, 여기서 소개할 방법은 크게 두가지이다. 1. Xavier Initialization Xavier Initialization은 Xavier Glorot와 Yoshua Bengio가 만든 방법으로 인풋 채널과 아웃풋 채널에 따라 Gaussian Distribution 또는 Uniform Distributio.. 2022. 6. 30. [논문 리뷰] Positional Encoding as Spatial Inductive Bias in GANs Positional Encoding as Spatial Inductive Bias in GANs Abstract SinGAN과 같은 translation invariant convoluitional generator가 어떻게 전반적인 구조를 잡는지 생각해보게 된다. 이 논문에서는 SinGAN과 SinGAN2가 zero padding으로부터 implicit position information을 얻는 것을 보여준다. 이러한 position encoding은 이미지를 생성할 때 필수 요소이다. 그리고 이것은 SinGAN 뿐만 아니라 DCGAN, PGGAN에서도 마찬가지이다. 또한, zero padding은 unblanced spatial bias를 제공한다. 이를 해결하기 위해 여기서는 다른 몇 가지 방법을.. 2021. 9. 7. [논문 리뷰] Position, Padding and Predictions: A Deeper Look at Position Information in CNNs Position, Padding and Predictions: A Deeper Look at Position Information in CNNs Abstract CNN은 fully connected networks에 비해 엄청난 성능을 보여주었다. 이 논문에서 정확한 위치 정보를 갖고 있는지 실험한다. 최적의 위치 정보를 encode 하는 방법은 무엇인지 확인하고, 위치 정보가 semantic representations에 어떤 영향을 끼치는지 확인한다. 위치 정보가 항상 성능을 개선시키는지 확인한다. 결과적으로 위치 정보가 도움이 될 수도 있고 성능을 해칠 수도 있다는 것을 알게 된다. 1. Introduction Section 3까지 이전 논문에서 다뤘던 내용이기 때문에 간단하게 정리하도록 하겠다. .. 2021. 8. 5. [논문 리뷰] How Much Position Information Do Convolutional Neural Networks Encode? How Much Position Information Do Convolutional Neural Networks Encode? Abstract CNN(Convolutional Neural Networks)은 local filter를 통해 엄청난 성능을 보여주었다. CNN으로 많은 사진들의 정보를 처리하였기 때문에 CNN은 암묵적으로 위치에 대한 정보를 학습한다고 생각했다. 이 논문에서는 그것이 맞는지 직접 확인하고, 어떻게 그리고 어디에 위치 정보를 학습하는지 실험을 한다. 1. Introduction CNN은 computer vision 분야에서 SOTA 성능을 보여주었고, 다양한 분야에 사용되고 있다. 하지만 CNN이 Salient Object Detection이나 Semantic Segmentati.. 2021. 7. 19. [논문 리뷰] CoordConv An intriguing failing of convolutional neural networks and the CoordConv solution Abstract 딥러닝에서 Convolution에 대한 영향력은 막대하다. Segmentation, object detection, classification 등의 task에서 CNN은 엄청난 효과를 보여주었고, 가장 적합한 모델로 여겨진다. 하지만 이 논문에서 충격적인 사실 하나를 발견하게 된다. 바로 coordinate transform problem인데, (x, y) 하나의 좌표를 직교좌표계에 해당하는 픽셀에 점을 찍는 것을 말한다. 이것에 대해 Convolution은 좋지 않은 성능을 보였는데, 이것이 왜 충격적이냐면 object detection이나 .. 2021. 7. 15. [논문 리뷰] BlitzNet BlitzNet: A Real-Time Deep Network for Scene Understanding 롤이란 게임을 시작했을 때 처음 해본 캐릭터가 블리츠크랭크였습니다. 이번에도 블로그 첫 글을 블리츠넷으로 해볼 생각입니다. 다들 처음 게임을 할 때 처음부터 잘 할 수 없듯이 처음 써보는 글이라 많이 부족할 것으로 예상이 됩니다. 오류나 질문이 있으시다면 편하게 댓글 달아주세요:) Abstract BlitzNet은 Object Detection과 Semantic Segmentation을 합친(jointly) 모델이다. real-time computations와 computational gain을 얻을 수 있다(빠르고 계산에 효율적이다). Object Detection과 Semantic Segmenta.. 2021. 7. 13. 이전 1 2 다음
