GCN paper review 전 공부 - semi-supervised learning

resource : https://arxiv.org/abs/1609.02907

Semi-Supervised Classification with Graph Convolutional Networks

Paper title : SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

 

본 논문을 소개하기 앞서 본 논문이 제안한 GCN의 기반 학습인 Semi-supervised 에 대해 알아보고자 한다.

 

CNN과 같은 image classification 문제는 supervised learning을 통해 이루어진다. 즉, 학습 데이터의 패턴을 외우는 학습법이라고 할 수 있다. 적절히 학습한 모델같은 경우 unlabeled data가 들어와도 적절하게 분류를 할 수 있게 된다. 하지만, 너무 많이 학습 데이터에 적응해버린 경우(overfitting) unlabeled data에 대한 성능이 좋지 않다. 

 

그러면, 이러한 문제를 해결하기 위해 어떤 방법이 있을까? 

가장 먼저 생각할 수 있는 방법은 더 많은 학습데이터를 제공하는 것이다. 그러면, 학습 데이터의 확보가 쉽지 않거나 한계치가 있는 경우는 어떻게 해결해야할까

 

그래서 나오는 개념이 Semi-supervised learning 이다. 

semi-supervised learning 같은 경우 적은 labeled data가 있다한들 unlabeled 데이터가 많으면 고려할만한 학습 방법이다.

아 semi-supervised learning은 말처럼 준지도학습이다. 지도학습을 수행할때도 있고, 비지도학습을 수행할때도 있는 것이다.

 

지도 학습 : 소량의 labeled data

비지도 학습 : 대량의 unlabeled data

이러한 방법론에 내재된 것은 label을 맞추는 모델에서 벗어나 데이터 자체의 본질적인 특성이 모델링 된다면 소량의 labeled data를 통한 가이드로 일반화 성능을 끌어 올릴 수 있다는 것이다.



분류 모델같은 경우 decision boundary가 존재한다. 이 boundary가 지도학습 같은 경우 최적의 boundary가 안될 수도 있다. 하지만, 데이터의 본질을 학습하면서 labeled data의 가이드 역할을 이행할 수 있는 semi-supervised learning같은 경우 optimal 한 경우일 확률이 높아진다. 

 

준지도학습은 지도 학습과 비지도 학습을 동시에 진행한다고 하였다. 이때 이 준지도학습의 목적함수는 supervised loss L_s와 unsupervised loss L_u 의 합을 최소화하는 것으로 표현할 수 있다. 

결국, 한번의 수행으로 두 학습을 동시에 진행한다는 것이다. 

이는, self-supervised learning, transfer learning의 2-stage 학습과 달리 더욱 시간효율성을 챙길 수 있는 장점이 된다.

 

이러한 장점을 지닌 semi-supervised learning은 GCN의 학습 방법이 되고, 목적함수를 Laplacian matrix를 사용하는 이유가 되기도 한다. -> 자세한 이유는 차차 알아갈 예정이며 목적은 smoothness assumption 때문이라는 것만 알고 있는 상태..

 

Graph Convolutional Network 이해를 위해 게시글을 분할해서 공부하면서 글올리는 식으로 해봐야겠당 히.