¿La diferencia entre la regresión logística y las máquinas de vectores de soporte?

Sé que la regresión logística encuentra un hiperplano que separa las muestras de entrenamiento. También sé que Support vector machines encuentra el hiperplano con el margen máximo.

Mi pregunta: ¿la diferencia entre la regresión logística (LR) y las máquinas de vectores de soporte (SVM) es que LR encuentra algún hiperplano que separe las muestras de entrenamiento mientras que SVM encuentra el hiperplano con el margen máximo? ¿O estoy equivocado?

Nota: recuerde que en LR cuando entonces la función logística da . Si suponemos como umbral de clasificación, entonces es un hiperplano o un límite de decisión.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Tienes razón si estás hablando de SVM duro y las dos clases son linealmente separables. LR encuentra cualquier solución que separe las dos clases. Hard SVM encuentra "la" solución entre todas las posibles que tiene el margen máximo.

En el caso de SVM suave y las clases no son linealmente separables, todavía tiene razón con una ligera modificación. El error no puede convertirse en cero. LR encuentra un hiperplano que corresponde a la minimización de algún error. Soft SVM intenta minimizar el error (otro error) y al mismo tiempo intercambia ese error con el margen a través de un parámetro de regularización.

Una diferencia entre los dos: SVM es un clasificador difícil pero LR es probabilístico. SVM es escaso. Elige los vectores de soporte (de las muestras de entrenamiento) que tienen el poder más discriminatorio entre las dos clases. Como no mantiene otros puntos de entrenamiento más allá de eso en el momento de la prueba, no tenemos idea sobre la distribución de ninguna de las dos clases.

He explicado cómo se rompe la solución LR (usando IRLS) en caso de separabilidad lineal de las dos clases y por qué deja de ser un clasificador probabilístico en tal caso: /stats//a/133292/66491