[논문리뷰스터디] Deep One-Class Classification

17기 우윤규

해당 논문에서는 SVM (Support vector Machine)과 Deep Learning을 섞어서 최적의 R과 c를 찾는 과정이다.

SVM은 분류를 하기 위해서 데이터들의 중심점을 선정하고 (c의 값) 그리고 R의 값을 가장 최소의 값을 갖도록 하게 한다. 즉, 어떠한 데이터 포인터가 있다면 공간을 변형시켜서 중심이 c이고 반지름인 R로 하는 가장 최적의 원을 기준으로 분류를 하게 하는 것이다 (1-분류 문제일 때)

원래 해당 문제(1-분류 문제)를 풀기 위해서는 목적식을 다음으로 잡고 문제를 풀어야만 하였더라면, 이 논문에서는 Deep Learning 모델 (대칭 - Autoencoder)을 사용함으로서 더 원활하게 문제를 풀게 만들었다.

또한, 이 식을 R, c에 대한 식으로 나타냈을 때는 다음과 같다.

(2) 번식에서 c를 구하기 위해서 x 간의 가중치 값들을 deep learning을 통해서 구하도록 모델을 구성할 수 있으며, 1-분류 문제일 경우 c를 0에 가깝게 고정시킨 후 (입실론) R의 값을 조절시키는 방향으로 진행한다.

이를 시각화 시켜보면 다음과 같다.

 

앞서 설명한 대로 데이터 point를 deep learning 구조를 통해서 SVDD를 적용시켰음을 알 수 있다.

이때, Deep learning 구조는 데이터의 정보를 손실 되지 않도록 대칭의 AE(Auto-Encoder) 모델이어야 한다.

 

해당 논문에서는 다 분류 모델로 사용하였을 때 Performance가 다음과 같이 나왔고, 1-분류 모델 (정상 데이터가 압도적으로 많고, 비정상 데이터가 거의 없는 경우)는 다음과 같이 나왔다.

MNIST, CIFAR10 데이터에 적용하였을 때 정확도 (Accuracy)

One-class 에 적용시켰을 때의 모델 들 간의 정확도

이렇게 전통적인 SVM 모델과 딥러닝 모델을 합칠 수도 있다는 점이 흥미로웠다.

이 뿐만 아니라, 산업공학과에서 목적함수를 두고 제약함수를 둠으로서 문제를 푸는 과정에 딥러닝을 적용시켜 좀더 원활하게 계산시키고, 더 나은 결과를 얻어 낼 수 있다는 점 또한 흥미로웠다. 

향후 이와 같이 두 개의 관점의 방법론을 합친 모델을 한 번 살펴보기로 하자,