¿Hay aplicaciones donde SVM sigue siendo superior?

10

El algoritmo SVM es bastante antiguo: se desarrolló en la década de 1960, pero fue extremadamente popular en los años 1990 y 2000. Es una parte clásica (y bastante hermosa) de los cursos de aprendizaje automático.

Hoy parece que en el procesamiento de medios (imágenes, sonido, etc.) las redes neuronales dominan completamente, mientras que en otras áreas Gradient Boosting tiene posiciones muy fuertes.

Además, en recientes concursos de datos no observo soluciones basadas en SVM.

Estoy buscando ejemplos de aplicaciones donde SVM todavía da resultados de vanguardia (a partir de 2016).

Actualización: me gustaría tener algún ejemplo que pueda dar, por ejemplo, a estudiantes / colegas al explicar SVM para que no se vea como un enfoque puramente teórico o obsoleto.

machine-learning svm Alleo
fuente
3
Superior en qué sentido? ¿Alguna métrica de rendimiento? Entrenar una red neuronal profunda requiere una cantidad considerable de tiempo de computadora, pero puedo entrenar un SVM útil en mi computadora portátil.
Sycorax dice Reinstate Monica
@ user777 Me refiero a la métrica de clasificación / regresión apropiada para el campo de aplicación, por supuesto. El problema con la complejidad computacional para DL es importante, pero esto está un poco fuera del alcance de esta pregunta.
Alleo

Respuestas:

11

Según el documento ¿Necesitamos cientos de clasificadores para resolver problemas de clasificación del mundo real? SVM junto con Random Forest y Gradient Booting Machines se encuentran entre los algoritmos de clasificación de mayor rendimiento para un gran conjunto de más de 120 conjuntos de datos (utilizando la precisión como métrica).

Repetí sus experimentos con algunas modificaciones y consigo que estos tres clasificadores funcionen mejor que los demás, pero como dice el teorema del almuerzo libre, siempre hay un problema en el que algún otro algoritmo funciona mejor que estos tres.

Entonces, sí, diría que SVM (con kernel gaussiano, eso es lo que usé) sigue siendo un algoritmo relevante para conjuntos de datos no relacionados con los medios.

Jacques Wainer
fuente
Hola, gracias por la respuesta! He visto este interesante estudio. Según tengo entendido, la idea era ver cuánto da el clasificador sin ningún ajuste serio (mientras que el analista de datos debería realizar el ajuste IMO). Un estudio relacionado con el área sería de mayor interés.
Alleo
1
Recuerdo que Delgado et all no realizaron una búsqueda muy detallada de los mejores hiperparámetros, pero si realizaron alguna búsqueda. La pregunta (para la que no tengo respuesta) es si una búsqueda más precisa de los mejores parámetros de hiperespacio daría resultados diferentes. Si eso es cierto, significaría que los algoritmos competidores para SVM tienen en general un pico muy agudo en la precisión para hiperparámetros particulares, lo que creo que es un factor negativo para el algoritmo.
Jacques Wainer
También un comentario menor es que los conjuntos de datos UCI (utilizados para pruebas) son en su mayoría bastante pequeños. Me pregunto si esta podría ser la explicación de los malos resultados del impulso. La mayoría de los desafíos de kaggle (con muchos datos) demuestran el rendimiento superior de GB.
Alleo
Estoy de acuerdo en que los conjuntos de datos son pequeños. Para conjuntos de datos más grandes, he estado usando Random Forests en este momento, comenzaré a usar GBM tan pronto como me sienta más cómodo con los hiperparámetros, no sé cuán sensible es GBM para ellos.
Jacques Wainer