HyunMaru Self_Study

논문 제목 : Class-aware Information for Logit-based Knowledge Distillation 컨퍼런스 : ?? 저자 : Shuoxi Zhang, Hanpeng Liu 대학 : School of Computer Science and Technology Wuhan 초록 지금까지의 logit-based distillation은 instance level에서 다루었다면, 논문은 다른 의미적인 정보들을 간과했던 것들을 관찰해보려고함 논문은 간과점 문제를 다루기 위해 Class aware Logit KD(CLKD)를 제안함. 이는 instance-level과 class-level을 동시에 logit distillation하기 위한 모듈임 CLKD는 distillation perfo..

논문 제목 : Decoupled Knowledge Distillation Contribution 기존 KD를 TCKD(Target Class Knowledge Distillation), NCKD(Non-Target Class Knowledge Distllation) 로 나누어 logit distllation의 insight 제공 한쌍의 공식으로 되어있는 기존 KD Loss의 한계점을 드러냄. Teacher의 Confidence Score와의 Coupling NCKD로 지식 전이의 효과가 억압됨. 그리고 TCKD와 NCKD의 결합은 두 부분의 균형 유연성을 제한시킴 효과적인 logit Distillation DKD를 제안 Feature-based Distillation 방법과 비교해서 DKD의 featur..