¿Qué método de kernel da las mejores salidas de probabilidad?

Recientemente he usado la escala de Platt de salidas SVM para estimar las probabilidades de eventos predeterminados. Las alternativas más directas parecen ser la "Regresión logística del núcleo" (KLR) y la "Máquina de vectores de importación" relacionada.

¿Alguien puede decir qué método de kernel que da resultados de probabilidad es actualmente el estado del arte? ¿Existe una implementación R de KLR?

¡Muchas gracias por su ayuda!

logistic svm kernel-trick RichardN
fuente

(+1) Una pregunta muy interesante ...

steffen

Respuestas:

La clasificación del proceso gaussiano (usando la propagación de expectativas) es probablemente el estado del arte en el aprendizaje automático. Hay un excelente libro de Rasmussen y Williams (descargable de forma gratuita), cuyo sitio web tiene una muy buena implementación de MATLAB. Más software, libros, documentos, etc. aquí . Sin embargo, en la práctica, KLR probablemente funcionará igual de bien para la mayoría de los problemas, la mayor dificultad es seleccionar el kernel y los parámetros de regularización, lo que probablemente se hace mejor mediante validación cruzada, aunque la validación cruzada de dejar uno fuera puede ser aproximada muy eficientemente, ver Cawley y Talbot (2008).

Dikran Marsupial
fuente

(+1) Gracias por el enlace y los consejos sobre el tema de selección de modelo.

chl

Debo agregar, no use implementaciones basadas en la aproximación de Laplace: la parte posterior está muy sesgada, y una aproximación simétrica centrada en el modo generalmente no funcionará muy bien.

Dikran Marsupial

Gracias Dikran! ¿Podría explicarme la relación de KLR y el suavizado de Kernel? El modelo KLR está construido de forma similar a la formulación svm [pérdida + penalización] y se resuelve mediante el descenso de gradiente. Pero al mismo tiempo, las referencias (por ejemplo, en "Kernel Logistic Regression and the Import Vector Machine", Zhu y Hastie 2005) sobre KLR se dirigen a la literatura de suavizado (por ejemplo, "Modelos aditivos generalizados", Hastie y Tibshirani 1990).

RichardN

No estoy tan familiarizado con la literatura de suavizado, pero los modelos de kernel están estrechamente relacionados con el suavizado de splines. Creo que el mejor lugar para buscar sería las publicaciones de Grace Wahba ( stat.wisc.edu/~wahba ), cuyo trabajo abarca tanto los métodos de suavizado como de kernel.

Dikran Marsupial

Gracias, echaré un vistazo más de cerca a las publicaciones de wahba. ¿Me puede recomendar una implementación de KLR, en el mejor de los casos en R?

RichardN

Supongo que sabes que el núcleo para la regresión logística no es paramétrico, así que antes que nada tienes esa restricción.

Con respecto al paquete R, el que conozco y funciona bastante bien es np : métodos de suavizado de kernel no paramétricos para tipos de datos mixtos

Este paquete proporciona una variedad de métodos de kernel no paramétricos (y semiparamétricos) que manejan sin problemas una combinación de tipos de datos de factores continuos, desordenados y ordenados.

Con respecto al kernel de última generación, puedo recomendar experimentar con los descritos en este documento de 2009. Léalo detenidamente para elegir el que sea mejor y más actual para usted.

mariana más suave
fuente

Hola Mariana, gracias por tu respuesta, pero tuvimos un malentendido: por "métodos de kernel" me refiero a métodos como la máquina de vectores de soporte que usa el "truco del kernel", no los métodos de suavizado del kernel.

RichardN