Cuándo usar qué: aprendizaje automático [cerrado]

Recientemente, en una clase de Aprendizaje automático del profesor Oriol Pujol en la UPC / Barcelona, ​​describió los algoritmos, principios y conceptos más comunes para usar en una amplia gama de tareas relacionadas con el aprendizaje automático. Aquí los comparto contigo y te pregunto:

• ¿Existe alguna tarea integral de comparación de marcos con enfoques o métodos relacionados con diferentes tipos de problemas relacionados con el aprendizaje automático?

¿Cómo aprendo un gaussiano simple? Probabilidad, variables aleatorias, distribuciones; estimación, convergencia y asintóticas, intervalo de confianza.

¿Cómo aprendo una mezcla de gaussianos (MoG)? Probabilidad, Expectativa-Maximización (EM); generalización, selección de modelo, validación cruzada; k-means, modelos ocultos de markov (HMM)

¿Cómo aprendo alguna densidad? Estimación paramétrica versus no paramétrica, Sobolev y otros espacios funcionales; l ́ 2 error; Estimación de densidad de kernel (KDE), kernel óptimo, teoría de KDE

¿Cómo pronostico una variable continua (regresión)? Regresión lineal, regularización, regresión de cresta y LASSO; regresión lineal local; Estimación de densidad condicional.

¿Cómo pronostico una variable discreta (clasificación)? Clasificador Bayes, Bayes ingenuo, generativo versus discriminativo; perceptrón, decadencia de peso, máquina de vectores de soporte lineal; clasificador vecino más cercano y teoría

¿Qué función de pérdida debo usar? Teoría de estimación de máxima verosimilitud; l -2 estimación; Estimación bayessiana; minimax y teoría de la decisión, bayesianismo vs frecuentismo

¿Qué modelo debo usar? AIC y BIC; Teoría de Vapnik-Chervonenskis; teoría de validación cruzada; bootstrapping Probablemente la teoría aproximadamente correcta (PAC); Límites derivados de hoeffding

¿Cómo puedo aprender modelos más elegantes (combinados)? Teoría del aprendizaje conjunto; impulso harpillera; apilado

¿Cómo puedo aprender modelos más elegantes (no lineales)? Modelos lineales generalizados, regresión logística; Teorema de Kolmogorov, modelos aditivos generalizados; kernelización, reproducción de espacios Hilbert de kernel, SVM no lineal, regresión de procesos gaussianos

¿Cómo puedo aprender modelos más elegantes (composicionales)? Modelos recursivos, árboles de decisión, agrupamiento jerárquico; redes neuronales, propagación hacia atrás, redes de creencias profundas; modelos gráficos, mezclas de HMM, campos aleatorios condicionales, redes de Markov de margen máximo; modelos log-lineales; gramáticas

¿Cómo reduzco o relaciono características? Selección de características versus reducción de dimensionalidad, métodos de envoltura para la selección de características; causalidad vs correlación, correlación parcial, aprendizaje de estructura neta de Bayes

¿Cómo creo nuevas funciones? análisis de componentes principales (PCA), análisis de componentes independientes (ICA), escalamiento multidimensional, aprendizaje múltiple, reducción de dimensionalidad supervisada, aprendizaje métrico

¿Cómo reduzco o relaciono los datos? Clustering, bi-clustering, clustering restringido; reglas de asociación y análisis de la canasta de mercado; clasificación / regresión ordinal; análisis de enlaces; datos relacionales

¿Cómo trato las series de tiempo? ARMA; Filtro de Kalman y modelos de espacio estadístico, filtro de partículas; análisis de datos funcionales; detección de punto de cambio; validación cruzada para series de tiempo

¿Cómo trato datos no ideales? desplazamiento covariable; desequilibrio de clase; datos faltantes, datos muestreados irregularmente, errores de medición; detección de anomalías, robustez

¿Cómo optimizo los parámetros? Optimización sin restricciones frente a constreñida / convexa, métodos sin derivados, métodos de primer y segundo orden, backfitting; gradiente natural; optimización consolidada y EM

¿Cómo optimizo las funciones lineales? álgebra lineal computacional, inversión de matriz para regresión, descomposición de valor singular (SVD) para reducción de dimensionalidad

¿Cómo optimizo con restricciones? Convexidad, multiplicadores de Lagrange, condiciones de Karush-Kuhn-Tucker, métodos de punto interior, algoritmo SMO para SVM

¿Cómo evalúo sumas profundamente anidadas? Inferencia exacta del modelo gráfico, límites de variación en sumas, inferencia aproximada del modelo gráfico, propagación de expectativas

¿Cómo evalúo grandes sumas y búsquedas? Problemas generalizados de N-cuerpos (PNB), estructuras de datos jerárquicos, búsqueda de vecinos más cercanos, método múltiple rápido; Integración de Monte Carlo, Markov Chain Monte Carlo, Monte Carlo SVD

¿Cómo trato problemas aún mayores? EM paralelo / distribuido, GNP paralelo / distribuido; métodos estocásticos de subgrado, aprendizaje en línea

¿Cómo aplico todo esto en el mundo real? Descripción general de las partes del NM, eligiendo entre los métodos a utilizar para cada tarea, conocimiento previo y suposiciones; análisis exploratorio de datos y visualización de información; evaluación e interpretación, utilizando intervalos de confianza y prueba de hipótesis, curvas ROC; donde están los problemas de investigación en ML

Estoy de acuerdo con @geogaffer. Esta es una muy buena lista, de hecho. Sin embargo, veo algunos problemas con esta lista, ya que está formulada actualmente. Por ejemplo, un problema es que las soluciones sugeridas son de diferentes niveles de granularidad , algunas de ellas representan enfoques , otras, métodos , algunas, algoritmos y otras, solo conceptos (en otras palabras, términos dentro de la terminología de dominio de un tema). Además, y creo que esto es mucho más importante que lo anterior, creo que sería muy valioso si todas esas soluciones en la lista se organizaran dentro de un marco estadístico temático unificado. Esta idea se inspiró al leer un excelente libro de Lisa Harlow "La esencia del pensamiento multivariante". Por lo tanto, recientemente inicié una discusión correspondiente, aunque actualmente algo limitada, en el sitio de Validación Cruzada de StackExchange . No deje que el título lo confunda: mi intención y esperanza implícitas es construir un marco unificado , como se mencionó anteriormente.

Esa es una buena lista que cubre mucho. He usado algunos de estos métodos desde antes de que algo se llamara aprendizaje automático, y creo que verá que algunos de los métodos que enumera entran y salen de uso con el tiempo. Si un método ha estado en desuso durante demasiado tiempo, podría ser el momento de una nueva visita. Algunos métodos pueden ofuscar detrás de diferentes nombres resultantes de diferentes campos de estudio.

Una de las principales áreas en las que he usado estos métodos es en el modelado de potencial mineral, que es geoespacial y para respaldar que podría agregar algunas categorías adicionales relacionadas con los métodos de datos espaciales y orientados.

Probablemente lleves tu pregunta general a campos específicos donde encontrarás más ejemplos de métodos que no están en tu lista completa. Por ejemplo, dos métodos que he visto en potencial mineral han sido la regresión gradual hacia atrás y el peso de los modelos de evidencia. No soy estadístico; quizás estos se considerarían cubiertos en la lista bajo regresión lineal y métodos bayesianos.

Creo que tu enfoque es un poco al revés.

"¿Cuál es la media de una distribución gaussiana ajustada a estos datos?" nunca es el enunciado del problema, así que "¿cómo encajo un gaussiano?" nunca es el problema que realmente quieres resolver.

La diferencia es más que semántica. Considere la pregunta "¿Cómo construyo nuevas características?" Si su objetivo es desarrollar un índice, puede usar algún tipo de análisis factorial. Si su objetivo es simplemente reducir el espacio de características antes de ajustar un modelo lineal, puede omitir el paso por completo y utilizar la regresión neta elástica en su lugar.

Un mejor enfoque sería compilar una lista de tareas de análisis de datos reales que le gustaría poder abordar . Preguntas como:

¿Cómo pronostico si los clientes volverán a mi sitio web de compras?

¿Cómo aprendo cuántos patrones de compra "principales" hay y cuáles son?

¿Cómo construyo un índice de "volatilidad" para diferentes artículos en mi tienda en línea?

Además, su lista ahora mismo incluye una enorme cantidad de material; demasiado para "revisar" y obtener más que una comprensión a nivel de superficie. Tener un propósito real en mente puede ayudarlo a ordenar sus prioridades.