논문 제목 : Decoupled Knowledge Distillation Contribution 기존 KD를 TCKD(Target Class Knowledge Distillation), NCKD(Non-Target Class Knowledge Distllation) 로 나누어 logit distllation의 insight 제공 한쌍의 공식으로 되어있는 기존 KD Loss의 한계점을 드러냄. Teacher의 Confidence Score와의 Coupling NCKD로 지식 전이의 효과가 억압됨. 그리고 TCKD와 NCKD의 결합은 두 부분의 균형 유연성을 제한시킴 효과적인 logit Distillation DKD를 제안 Feature-based Distillation 방법과 비교해서 DKD의 featur..
