¿Cuál es el modelo estadístico detrás del algoritmo SVM?

Aprendí que, cuando se trata de datos utilizando un enfoque basado en modelos, el primer paso es modelar el procedimiento de datos como un modelo estadístico. Luego, el siguiente paso es desarrollar un algoritmo de inferencia / aprendizaje eficiente / rápido basado en este modelo estadístico. ¿Entonces quiero preguntar qué modelo estadístico está detrás del algoritmo de máquina de vectores de soporte (SVM)?

A menudo puede escribir un modelo que corresponda a una función de pérdida (aquí voy a hablar sobre la regresión SVM en lugar de la clasificación SVM; es particularmente simple)

Por ejemplo, en un modelo lineal, si su función de pérdida es entonces minimizar eso corresponderá a la probabilidad máxima de f ∝ exp ( - $\sum_i g(\varepsilon_i) = \sum_i g(y_i-x_i'\beta)$= exp ( - $f\propto \exp(-a\,g(\varepsilon))$ . (Aquí tengo un núcleo lineal)$= \exp(-a\,g(y-x'\beta))$

Si recuerdo correctamente, la regresión SVM tiene una función de pérdida como esta:

Eso corresponde a una densidad que es uniforme en el medio con colas exponenciales (como vemos exponiendo su negativo, o algún múltiplo de su negativo).

Hay una familia de 3 parámetros: ubicación de esquina (umbral de insensibilidad relativa) más ubicación y escala.

Es una densidad interesante; Si recuerdo correctamente al mirar esa distribución en particular hace unas décadas, un buen estimador de ubicación es el promedio de dos cuantiles colocados simétricamente que corresponden a donde están las esquinas (por ejemplo, la bisagra media daría una buena aproximación a MLE para un particular elección de la constante en la pérdida SVM); un estimador similar para el parámetro de escala se basaría en su diferencia, mientras que el tercer parámetro corresponde básicamente a determinar en qué percentil se encuentran las esquinas (esto podría elegirse en lugar de estimarse, ya que a menudo es para SVM).

Entonces, al menos para la regresión SVM, parece bastante sencillo, al menos si elegimos obtener nuestros estimadores por máxima probabilidad.

(En caso de que esté a punto de preguntar ... No tengo ninguna referencia para esta conexión en particular con SVM: ya lo resolví ahora. Sin embargo, es tan simple que docenas de personas lo habrán resuelto antes que yo, así que sin duda no son referencias para ella - he visto nunca ninguna).

Creo que alguien ya respondió su pregunta literal, pero permítame aclarar una posible confusión.

Su pregunta es algo similar a la siguiente:

$f(x) = \ldots$

En otras palabras, ciertamente tiene una respuesta válida (tal vez incluso una única si impone restricciones de regularidad), pero es una pregunta bastante extraña, ya que no fue una ecuación diferencial que originó esa función en primer lugar.
(Por otro lado, dada la ecuación diferencial, es natural pedir su solución, ¡ya que por eso usualmente se escribe la ecuación!)

He aquí por qué: creo que está pensando en modelos probabilísticos / estadísticos, específicamente, modelos generativos y discriminativos , basados ​​en la estimación de probabilidades conjuntas y condicionales a partir de datos.

El SVM no es ninguno. Es un tipo de modelo completamente diferente, uno que los ignora e intenta modelar directamente el límite de decisión final, las probabilidades sean condenadas.

Como se trata de encontrar la forma del límite de decisión, la intuición detrás de esto es geométrica (o quizás deberíamos decir basada en la optimización) en lugar de probabilística o estadística.

Dado que las probabilidades no se consideran realmente en ninguna parte del camino, es bastante inusual preguntar cuál podría ser el modelo probabilístico correspondiente, y especialmente porque el objetivo era evitar tener que preocuparse por las probabilidades. Por eso no ves gente hablando de ellos.