HyunMaru Self_Study

논문 제목 : Class-aware Information for Logit-based Knowledge Distillation 컨퍼런스 : ?? 저자 : Shuoxi Zhang, Hanpeng Liu 대학 : School of Computer Science and Technology Wuhan 초록 지금까지의 logit-based distillation은 instance level에서 다루었다면, 논문은 다른 의미적인 정보들을 간과했던 것들을 관찰해보려고함 논문은 간과점 문제를 다루기 위해 Class aware Logit KD(CLKD)를 제안함. 이는 instance-level과 class-level을 동시에 logit distillation하기 위한 모듈임 CLKD는 distillation perfo..

논문 제목 : Distilling Knowledge via Knowledge Review 컨퍼런스 : 2021 CVPR 저자 : Pengguang Chen et al 대학 : The Chinese Univ. of HongKong 영단어 negligible : 너무 작아서 신경쓰지 않아도될 것 intriguingly : interestingly 와 같은 의미로 흥미롭게도 consecutive : 연속적인 초록 지금까지는 feature transformation 및 loss function에 초점을 맞췄다면, 본 논문은 connection path cross levels의 factor에 대해 연구하려고 함. KD의 첫걸음으로 cross-stage connection path가 제안됨. 우리의 새로운 revi..

논문 제목 : Decoupled Knowledge Distillation Contribution 기존 KD를 TCKD(Target Class Knowledge Distillation), NCKD(Non-Target Class Knowledge Distllation) 로 나누어 logit distllation의 insight 제공 한쌍의 공식으로 되어있는 기존 KD Loss의 한계점을 드러냄. Teacher의 Confidence Score와의 Coupling NCKD로 지식 전이의 효과가 억압됨. 그리고 TCKD와 NCKD의 결합은 두 부분의 균형 유연성을 제한시킴 효과적인 logit Distillation DKD를 제안 Feature-based Distillation 방법과 비교해서 DKD의 featur..

본격적으로 논문 리뷰를 하기에 앞서 본 리뷰는 다음 영상을 참고하여 작성하였다. https://www.youtube.com/watch?v=F-JPKccMP7k 혼자서 여러 자료들과 논문들을 통해 이해하려고 하였고, semi-supervised learning에 관한 설명에 대한 글도 올렸었다. 이후, normalized graph laplacian, fourier transform in GCN, 1st order approximation in GCN, Chebyshev polynomials, spectral convolutions, fourier domian to spatial domain 등 글을 작성하기엔 너무 많기도 하며 어려웠기에 영상을 보면서 공부하게 되었다. GNN이란? Graph와 관련된 모..

어플리케이션 다운로드 ↓ (size : 52MB) https://drive.google.com/file/d/19Zql-knadVkNiHPjAZ8ac1eeoBEivEAY/view?usp=sharing 알콜위키.apk drive.google.com Development Environment : Android Studio Development Framework : Flutter Using Package: image_picker, tflite, lottie, shared_preference, cupertino_icons, http, google_fonts, wrapped_korean_text, fluttertoast Application DB : Our application only needs to add th..