Multi-layer support vector machines

Abstract

Malgrat l'alt rendiment de les Màquines de Vectors de Suport (SVM) en tasques de classificació i regressió (Shawe-Taylor and Cristianini, 2004), les càrregues de dades modernes han introduït desafiaments d'eficiència per a les SVM (Cervantes et al., 2020). Les SVM no són capaces d'encarar problemes no lineals quan la mida del conjunt de dades és considerablement gran. D'altra banda, les arquitectures profundes, com les Xarxes Neuronals Artificials (ANN), han mostrat resultats prometedors al tractar amb patrons complexos en les dades (LeCun et al., 2015). Aprofitant tècniques d'aproximació de funcions kernel com les Random Fourier Features (RFF) (Rahimi and Recht, 2007), aquest treball introdueix una arquitectura de Màquina de Vectors de Suport Multicapa (MLSVM). La MLSVM ha obtingut resultats motivadors, presentant un rendiment competitiu davant de les SVM tradicionals i els mètodes d'última generació. Aquesta tesi obre un camí per a futures investigacions sobre arquitectures de múltiples capes que extenguin el model SVM.

Despite the traditional high performance of Support Vector Machines (SVMs) in classification and regression tasks (Shawe-Taylor and Cristianini, 2004), modern data loads have introduced efficiency challenges to SMVs (Cervantes et al., 2020). SVMs are not capable of handling non-linear problems when the dataset size is considerably large. On the other hand, deep architectures such as Artificial Neural Networks (ANNs) have shown encouraging results when dealing with complex patterns in data (LeCun et al., 2015). By leveraging kernel approximation techniques such as Random Fourier Features (RFFs) (Rahimi and Recht, 2007), this work introduces a Multi-Layer Support Vector Machine (MLSVM) architecture. The MLSVM has revealed very promising results, presenting competitive performance against traditional SVMs and state-of-the-art methods. This thesis opens a path for future research on multi-layer architectures extending the SVM model.