딥러닝12 PyTorch 2.0 Tutorial 이번에 PyTorch 2.0이 발표되었다. 아직 한국어로는 많은 리뷰가 없는 것 같아서, 쉽게 따라 할 수 있는 Tutorial을 작성하고자 한다. 이번 PyTorch 2.0의 핵심 아이디어는 바로 컴파일러의 지원이다. 많은 사람들이 알고 있겠지만 PyTorch는 이전까지 컴파일러를 사용하지 않았다. 이번에 컴파일러가 추가되면서 엄청난 속도 향상을 이뤄냈다. 대부분의 사람들은 컴파일러 엔지니어가 아니기 때문에 간단히 설명하도록 하겠다. 모르겠으면 그런가보다 하고 넘어가도 괜찮다. (사실상 User는 사용 방법만 알면 된다.) 전체적인 Compiler의 Overview이다. Dynamo 제일 먼저 그림 위에 있는 Dynamo는 Frontend에 해당하는데, 흔히 우리가 사용하는 Python Script를 .. 2023. 5. 29. Systolic Array NPU에 대해 이해하려면 먼저 Systolic Array에 대한 이해가 필수적이다. Systolic Array는 NxN 개의 PE(Processing Element)로 구성되어 있으며, 각 PE는 Multiplication과 Addition을 수행한다. 이를 통해 partial sum을 계산하고 마지막 output으로 matrix multiplication의 결과가 생성된다. 이렇게 말을 통해서 말하면 이해가 어렵기 때문에 예시를 통해서 설명하도록 하겠다. 오늘은 이해를 돕기 위해서 weight stationary(WS)에 대해서만 예시를 들어 설명해 보겠다. Dataflow에는 Weight Stationary, Output Stationary, Input Stationary, Row Stationary.. 2023. 4. 22. [논문 리뷰] YOLO (You Only Look Once:Unified, Real-Time Object Detection) You Only Look Once: Unified, Real-Time Object Detection Abstract 이전 연구에서는 Classifier를 따로 만들어서 사용하는 2 Stage 모델을 흔히 사용하였다. 이 논문에서는 Box Regression과 Class의 확률 예측을 동시에 수행하는 방법을 제안한다. 하나의 Network로 진행되기 때문에 논문의 이름처럼 한 번만 모델을 거치면 위치와 Class를 모두 알 수 있게 되는 것이다. 이 모델 구조의 장점은 빠르다는 것인데, 45 FPS를 보였고, Fast YOLO의 경우 155 FPS를 보였다. 심지어 정확도 측면에서 다른 모델과 비슷한 mAP를 보였다. 1. Introduction 사람의 경우 사진을 보자마자 빠르고 정확하게 물체의 위치와 .. 2022. 9. 14. [논문 리뷰] Faster R-CNN Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks Abstract 이 당시 Object Detection을 수행하는 SOTA 모델들은 모두 물체의 위치를 찾기 위해 Region Proposal Algorithm을 사용하였다. SPPnet이나 Fast R-CNN은 Region Proposal 계산을 Bottleneck으로 생각하여 이를 줄이는 방법으로 Running time을 줄였다. 이 논문에서는 RPN을 소개한다. 이는 Fully Convolution Network이며, 물체의 경계와 확률 값을 픽셀 단위로 예측한다. 이를 Fast R-CNN과 합쳐서 하나의 Network로 만들었다. RPN은 요즘 트렌드인 At.. 2022. 9. 2. [논문 리뷰] U-Net: Convolutional Networks for Biomedical Image Segmentation U-Net: Convolutional Networks for Biomedical Image Segmentation Abstract 딥러닝 네트워크의 경우에 Sample에 대한 의존도가 크다. 이 연구에서도 Data Augmentation 학습 방법을 소개하고, U-Net이라는 네트워크를 소개한다. U-Net은 2개의 Part로 나뉠 수 있는데, Context를 파악하는 Contracting Path와 Localization의 정확도를 올려주는 Expanding Path이다. 이 두 가지 Path는 서로 대칭적으로 존재한다. 이 모델의 경우 아주 적은 Sample로도 학습이 잘 되었고, ISBI Challenge에서 이전 우승 모델보다 높은 성능을 보였다. 1. Introduction 본 논문에서는 CNN.. 2022. 8. 22. [논문 리뷰] ResNet Deep Residual Learning for Image Recognition Abstract 모델이 깊어질수록 학습을 하는 것도 더 어려워진다. 이를 해결하기 위해 이 논문에서는 Residual Learning Framework를 소개한다. 이를 통해 모델의 깊이가 깊어지면서 정확도도 상승하게 되었다. 152개의 Layer를 쌓았음에도 VGG보다 복잡도가 낮았다. ImageNet Dataset에 대해서 3.57% Error를 달성하며 ILSVRC 2015 Classification Task에서 1등을 차지하였다. 1. Introduction 딥러닝 모델은 Image Classification에 돌파구를 마련했다. 모델의 Layer수가 증가할수록 학습할 수 있는 Feature가 달라지게 된다. 그렇기 .. 2022. 8. 15. 이전 1 2 다음
