Esta pregunta trata sobre la estimación de máxima verosimilitud restringida (REML) en una versión particular del modelo lineal, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), donde es una matriz ( n × p )...
La literatura de aprendizaje profundo está llena de trucos inteligentes con el uso de tasas de aprendizaje no constantes en el descenso de gradiente. Cosas como la decadencia exponencial, RMSprop, Adagrad, etc. son fáciles de implementar y están disponibles en todos los paquetes de aprendizaje...
Esta pregunta ya tiene respuestas aquí : Algoritmo de retropropagación (2 respuestas) Cerrado hace 3 meses . ¿Qué es el algoritmo de retropropagación y cómo
El clasificador Naive Bayes es el clasificador que asigna elementos a una clase función de la maximización de la posterior para la pertenencia a clases, y supone que las características de los elementos son independientes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La pérdida 0-1 es la pérdida que...
¿Hay alguna alternativa rápida al algoritmo EM para aprender modelos con variables latentes (especialmente pLSA)? Estoy de acuerdo con sacrificar la precisión en favor de la
Recientemente leí un artículo de Yann Dauphin et al. Identificando y atacando el problema del punto de silla de montar en la optimización no convexa de alta dimensión , donde introducen un interesante algoritmo de descenso llamado Saddle-Free Newton , que parece estar adaptado exactamente para la...
Un amigo mío vende modelos de licuadoras. Algunos de los mezcladores son muy simples y baratos, otros son muy sofisticados y más caros. Sus datos consisten, para cada mes, en los precios de cada licuadora (que son fijados por él) y el número de unidades vendidas para cada modelo. Para establecer...
Una de las motivaciones para la red elástica fue la siguiente limitación de LASSO: En el caso , el lazo selecciona como máximo n variables antes de saturarse, debido a la naturaleza del problema de optimización convexa. Esto parece ser una característica limitante para un método de selección...
Quería saber cuánto del aprendizaje automático requiere optimización. Por lo que he escuchado, las estadísticas son un tema matemático importante para las personas que trabajan con el aprendizaje automático. Del mismo modo, ¿qué importancia tiene para alguien que trabaja con el aprendizaje...
Objetivo Confirme si la comprensión de KKT es correcta o no. Busque más explicaciones y confirmaciones sobre KKT. Antecedentes Tratando de entender las condiciones de KKT, especialmente la complementaria, que siempre aparece de la nada en los artículos SVM. No necesito una lista de fórmulas...
KKij=k(xi,xj)=b-1exp(-1Iniciar sesión( y | X, θ ) = - 12yTK- 1yy - 12Iniciar sesión( det ( K) ) - n2Iniciar sesión( 2 π)log(y|X,θ)=−12yTKy−1y−12log(det(K))−n2log(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2}
Estoy trabajando en un proyecto de filtrado colaborativo (CF), es decir, completar una matriz parcialmente observada o, en general, un tensor. Soy un novato en el campo, y para este proyecto eventualmente tengo que comparar nuestro método con otros conocidos que hoy en día, los métodos propuestos...
Por lo general, en la regresión logística, ajustamos un modelo y obtenemos algunas predicciones sobre el conjunto de entrenamiento. Luego validamos de manera cruzada esas predicciones de entrenamiento (algo así como aquí ) y decidimos el valor umbral óptimo basado en algo como la curva ROC. ¿Por...
¿Hay grupos de investigación trabajando en el uso del aprendizaje profundo para problemas de optimización combinatoria?
Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es una simplificación drástica, pero...
TL; DR: la lme4optimización parece ser lineal en la cantidad de parámetros del modelo por defecto, y es mucho más lenta que un glmmodelo equivalente con variables ficticias para grupos. ¿Hay algo que pueda hacer para acelerarlo? Estoy tratando de ajustar un modelo logit jerárquico bastante...
Para evitar el sobreajuste de las personas, las personas agregan un término de regularización (proporcional a la suma al cuadrado de los parámetros del modelo) con un parámetro de regularización a la función de costo de la regresión lineal. ¿Es este parámetro lo mismo que un multiplicador lagrange?...
La función objetivo del Análisis de Componentes Principales (PCA) es minimizar el error de reconstrucción en la norma L2 (ver sección 2.12 aquí . Otra vista está tratando de maximizar la varianza en la proyección. También tenemos una excelente publicación aquí: ¿Cuál es la función objetivo de PCA?...
Estoy tratando de entender el proceso para entrenar una máquina de vectores de soporte lineal . Me doy cuenta de que las propiedades de los SMV permiten que se optimicen mucho más rápido que mediante el uso de un solucionador de programación cuadrática, pero con fines de aprendizaje, me gustaría...
Antecedentes y problema Estoy usando procesos gaussianos (GP) para la regresión y la posterior optimización bayesiana (BO). Para la regresión, uso el paquete gpml para MATLAB con varias modificaciones personalizadas, pero el problema es general. Es un hecho bien conocido que cuando dos entradas...