KUBIG 2023-1 활동 블로그

Abstract Transformer는 NLP에서 많이 쓰였었다. Vision 분야에서는 아직 Transformer 구조가 Convolution 과 같이 쓰이는 수준이었다. 저자는 CNN에 의존하지 않고 pure한 transformer 또한 이미지 분류 테스크에서 좋은 성능이 나올 수 있음을 보여줬다. vision Transformer(ViT)를 많은 양의 데이터로 사전학습 후에, mid,small 사이즈 이미지 인식 task와 같은 다양한 task에 전이 학습 시켜서 평가를 진행했다. 결과 기존 sota 성능을 보이는 cnn 기반 모델들과 필적하는 성능을 보였다. Introduction NLP에서 많이 쓰이는 self-attention 기반 아키텍처는 일반적으로 Large text corpus에 사전 ..

방학 세션/CV 2023. 2. 14. 22:33

#01 Abstract Transformer 구조가 NLP 분야에서 사실상 'Standard' 모델이 되었지만, CV 분야에서는 그 적용이 미진하였다. Vision 분야에서는 CNN 구조의 몇 부분만 대체하거나 혹은 네트워크 간의 결합을 할 때 'attention'을 활용하였다. 하지만 본 논문에서는 이미지들을 패치들로 쪼개어 Sequence 형태로 순수 Transformer에 적용하였을 때 이미지 분류 Task에서 그 성능이 SOTA 수준급으로 도달할 수 있음을 보여주었다. 본 리뷰에서는 해당 모델은 'ViT'에 대해 알아보고, 일반적인 CNN 네트워크와 어떠한 차이점이 존재하는지 알아보도록 하겠다. 더욱 더 자세한 이해를 위해서는 기본적으로 Transformer에 대한 전반적인 지식을 이해하고 오는 ..

방학 세션/CV 2023. 2. 14. 22:06

Introduction NLP 분야에서 트랜스포머의 사용은 성능 저하 없이 상상을 초월하는 크기의 데이터 학습을 가능하게 하였지만, CV 분야에서는 아직도 CNN 기반의 모델이 주로 사용되고 있습니다. 본 논문에서는 NLP에서 사용되는 트랜스포머의 구조를 최소한의 수정을 거쳐 이미지에도 적용하려는 시도를 하고 있습니다. 이미지를 patch로 나누고 이 patch의 linear embedding sequence을 트랜스포머의 input으로 사용하고 있습니다. 모델 학습에 있어 supervised 방식을 채택하고 있습니다. Mid-sized 데이터셋을 사용하여 모델을 학습시킨 결과, 비슷한 크기의 데이터셋을 ResNet 기반의 모델에 학습시켰을 때보다 낮은 성능을 보여주었습니다. 이는 트랜스포머가 trans..

방학 세션/CV 2023. 2. 14. 21:54

https://blog.naver.com/andrew9909에도 동일한 글을 작성하고 있습니다. 0. 들어가며 Transformer는 기본적으로 NLP 분야에서 나온 개념입니다. 기계 번역에 처음 사용되었고, CV 분야보다 음성 인식 / 음성 합성 등의 음성신호처리 분야에 Transformer 구조가 먼저 적용된 이유 역시 음성 데이터가 자연어처럼 시퀀스(순서를 가지는) 데이터이기 때문에 후에 서술할 positional encoding 등의 적용이 비슷하게 이루어지기 때문입니다. 그래서 Vision Transformer라는 이름을 처음 들었을 때 아주 신기했는데요, 컴퓨터 비전에서 제한적으로만 사용되었던 Transformer의 구조를 거의 완벽히 따라 좋은 성능을 냈다는 점에서 큰 contribution..

방학 세션/CV 2023. 2. 14. 16:06

FCN은 Semantic Segmentation task를 수행하기 위해 기본 Image Classification 분야에서 우수한 성능을 보인 모델들(AlexNet, VGG16, GoogLeNet)을 변형시킨 모델입니다. 구체적으로, Image Classification 모델을 먼저 학습시킨 후 모델을 튜닝해 학습하는 전이 학습이 이루어집니다. (본 포스팅에서는 VGGnet 등의 기존 모델 구조에 대해서는 이야기하지 않도록 하겠습니다) ​ 위에서 언급한 '변형'은 모델의 마지막 부분에서 이루어집니다. 기존에는 FC layer를 통해 각 클래스에 속할 확률을 내보냈지만, FCN에는 이 FC layer들을 모두 convolution layer로 변경하였습니다. 그 이유는 다음과 같은데요, 1) 이미지의 위..

방학 세션/CV 2023. 2. 8. 15:25

#0 Abstract 16기 임정준_기존의 Classification 및 Detection보다 훨씬 더 정교하고 어려운 과제인 Segmentation을 해결하기 위하여, Faster R-CNN을 연장하여 Mask R-CNN 프레임워크가 등장하였다. Mask R-CNN은 작은 overhead 하나를 추가하는 것만으로 비교적 쉬운 Training 및 5 fps 수준의 구동능력을 달성하였다. 이러한 효율적인 접근을 기반으로, Instance Segmentation, Bounding Box object detection 및 person keypoint detection에서 모두 우승하였다. 본 논문을 리뷰하는 이유는 크게 두 가지로, 첫번째 Instance Segmentation에 대한 개괄적인 baseline..

방학 세션/CV 2023. 2. 8. 00:18

Abstract Key insight: to build fully convolutional networks that take input of arbitrary size and produce correspondingly-sized output 임의의 사이즈의 입력을 받을 수 있게끔! AlexNet, VGGNet, GoogLeNet과 같은 기존의 분류 모델 구조를 fully convolutional network로 변형시켜 사용. fine-tuning을 통해 segmentation task에 맞게 전이학습 진행 새로운 구조 제안 - deep layer에서 나온 semantic information과 shallow layer에서 나온 appearance information를 조합하여 정확하고 구체적인 seg..

방학 세션/CV 2023. 2. 7. 23:59

0. Background FCN은 Semantic Segmentation이라는 분야에 관한 논문으로, 딥러닝을 이용해 Semantice segmentation의 문제를 해결하는 다른 모델들의 베이스가 되는 논문입니다. FCN이전에는 기존의 Classification network 구조를 이용하여 Semantic segmentation문제를 해결하려 했습니다. 예를 들어, 아래와 같이 VGG16에서는 FC layer가 존재하였는데, 이는 공간 정보가 포함되어 있는 features를 1D vector로 연산하기 때문에 위치에 대한 정보를 잃어버리게 됩니다. 또한, 추가적으로 FC layer가 존재하면 input image size를 고정시켜야 합니다. Semantic Segmentation은 모든 픽셀의 정..

방학 세션/CV 2023. 2. 7. 23:51