HyunMaru Self_Study

논문 제목 : Class-aware Information for Logit-based Knowledge Distillation 컨퍼런스 : ?? 저자 : Shuoxi Zhang, Hanpeng Liu 대학 : School of Computer Science and Technology Wuhan 초록 지금까지의 logit-based distillation은 instance level에서 다루었다면, 논문은 다른 의미적인 정보들을 간과했던 것들을 관찰해보려고함 논문은 간과점 문제를 다루기 위해 Class aware Logit KD(CLKD)를 제안함. 이는 instance-level과 class-level을 동시에 logit distillation하기 위한 모듈임 CLKD는 distillation perfo..

논문 제목 : Distilling Knowledge via Knowledge Review 컨퍼런스 : 2021 CVPR 저자 : Pengguang Chen et al 대학 : The Chinese Univ. of HongKong 영단어 negligible : 너무 작아서 신경쓰지 않아도될 것 intriguingly : interestingly 와 같은 의미로 흥미롭게도 consecutive : 연속적인 초록 지금까지는 feature transformation 및 loss function에 초점을 맞췄다면, 본 논문은 connection path cross levels의 factor에 대해 연구하려고 함. KD의 첫걸음으로 cross-stage connection path가 제안됨. 우리의 새로운 revi..

논문 제목 : Decoupled Knowledge Distillation Contribution 기존 KD를 TCKD(Target Class Knowledge Distillation), NCKD(Non-Target Class Knowledge Distllation) 로 나누어 logit distllation의 insight 제공 한쌍의 공식으로 되어있는 기존 KD Loss의 한계점을 드러냄. Teacher의 Confidence Score와의 Coupling NCKD로 지식 전이의 효과가 억압됨. 그리고 TCKD와 NCKD의 결합은 두 부분의 균형 유연성을 제한시킴 효과적인 logit Distillation DKD를 제안 Feature-based Distillation 방법과 비교해서 DKD의 featur..

본격적으로 논문 리뷰를 하기에 앞서 본 리뷰는 다음 영상을 참고하여 작성하였다. https://www.youtube.com/watch?v=F-JPKccMP7k 혼자서 여러 자료들과 논문들을 통해 이해하려고 하였고, semi-supervised learning에 관한 설명에 대한 글도 올렸었다. 이후, normalized graph laplacian, fourier transform in GCN, 1st order approximation in GCN, Chebyshev polynomials, spectral convolutions, fourier domian to spatial domain 등 글을 작성하기엔 너무 많기도 하며 어려웠기에 영상을 보면서 공부하게 되었다. GNN이란? Graph와 관련된 모..

resource : https://arxiv.org/abs/1609.02907 Semi-Supervised Classification with Graph Convolutional Networks We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a loc arxiv.org Paper title : SEMI-SUP..

Full paper name : MobileNets : Efficient Convolutional Neural Networks for Mobile Vision Applications Abstract : 모바일, embedded vision 앱에서 사용되는 것을 목적으로 모델을 제시하였다. Depth-wise separable convolutions 라는 구조에 기반하며 2개의 단순한 hyper-parameter를 가진다. 여기서 depth-wise convolution은 feature map 뭉치를 채널별로 따로따로 나눠서 각각을 feature kernel에 통과시킨다는 것을 의미한다. 지금까지의 합성곱을 사용하는 CV model들은 크기가 너무 크고 가성비가 좋지 않다. 컴퓨팅 파워가 좋은 데스크탑에서..

※이해가 잘 안 되는 부분들 미리 정리. 딥러닝에서 -wise라는 용어가 자주 언급됨. -wise : ~별로 따로따로 나눠서 뭔가를 수행한다. ~에 따라 뭔가를 수행한다. ex) depth-wise convolution : feature map 뭉치를 채널별로 따로따로 나눠 각각을 특정 커널에 통과. channel-wise concatenation : 여러 feature map 뭉치를 채널에 따라 feature map을 쌓는다(일반적인 딥러닝 concat을 의미) point-wise convolution : feature map의 픽셀 포인트별로 따로따로 나눠서 각각을 특정 커널에 통과. spatial-wise attention : feature map 뭉치를 하나하나 떼서, 즉 공간 별로 따로따로 나눠..