Preguntas etiquetadas con optimization

Cuando uso GAM, me da un DF residual de 26.626.626.6 (última línea en el código). Qué significa eso? Yendo más allá del ejemplo de GAM, en general, ¿puede el número de grados de libertad ser un número no entero? > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~...

Sabemos que algunas funciones objetivas son más fáciles de optimizar y otras son difíciles. Y hay muchas funciones de pérdida que queremos usar pero difíciles de usar, por ejemplo, pérdida 0-1. Entonces encontramos algunas funciones de pérdida de proxy para hacer el trabajo. Por ejemplo, usamos...

Completé el curso de Aprendizaje automático de Andrew Ng hace aproximadamente un año, y ahora estoy escribiendo mi exploración de matemáticas en la escuela secundaria sobre el funcionamiento de la regresión logística y las técnicas para optimizar el rendimiento. Una de estas técnicas es, por...

Estoy trabajando en aprendizaje automático teórico, en aprendizaje de transferencia, para ser específico, para mi doctorado. Por curiosidad, ¿por qué debería tomar un curso sobre optimización convexa? ¿Qué conclusiones de la optimización convexa puedo usar en mi investigación sobre aprendizaje...

No estoy seguro si esta pregunta pertenece aquí, pero está estrechamente relacionada con los métodos de gradiente en la optimización, que parece estar en el tema aquí. De todos modos, siéntase libre de migrar si cree que alguna otra comunidad tiene una mejor experiencia en el tema. En resumen,...

Cuando leemos un libro, entender las anotaciones juega un papel muy importante para comprender los contenidos. Desafortunadamente, diferentes comunidades tienen diferentes convenciones de notación para la formulación del modelo y el problema de optimización. ¿Podría alguien resumir algunas...

Dada una función de costo convexo, usando SGD para la optimización, tendremos un gradiente (vector) en un cierto punto durante el proceso de optimización. Mi pregunta es, dado el punto en el convexo, ¿el gradiente solo apunta en la dirección en que la función aumenta / disminuye más rápido, o el...

En realidad, quería preguntarle cómo puedo definir la condición de terminación para el descenso de gradiente. ¿Puedo detenerlo en función del número de iteraciones, es decir, considerando los valores de los parámetros para, por ejemplo, 100 iteraciones? ¿O debería esperar de modo que la...

Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Bengio, Goodfellow y Courville: En general, se considera que Adam es bastante robusto para la elección de hiperparámetros, aunque a veces la tasa de aprendizaje debe...

Nota: estoy publicando una pregunta de un ex alumno mío que no puede publicar por su cuenta por razones técnicas. Dada una muestra de iid de una distribución de Weibull con pdf ¿hay una representación variable faltante útil y, por lo tanto, un algoritmo EM (expectativa-maximización) asociado...

Estoy investigando algunas técnicas de optimización para el aprendizaje automático, pero me sorprende descubrir que un gran número de algoritmos de optimización se definen en términos de otros problemas de optimización. Ilustramos algunos ejemplos a continuación. Por ejemplo...

Me pregunto si siempre hay un maximizador para cualquier problema de estimación de probabilidad máxima (log). En otras palabras, ¿hay alguna distribución y algunos de sus parámetros, para los cuales el problema MLE no tiene un maximizador? Mi pregunta proviene de la afirmación de un ingeniero de...

Recientemente hubo una pregunta similar a ML sobre el intercambio de pilas de teoría, y publiqué una respuesta recomendando el método de Powell, el descenso de gradiente, los algoritmos genéticos u otros "algoritmos de aproximación". En un comentario, alguien me dijo que estos métodos eran...

Me preguntaba cuáles son los diferentes casos de uso para los dos algoritmos, Descenso de coordenadas y Descenso de gradiente . Sé que el descenso coordinado tiene problemas con las funciones no uniformes, pero se usa en algoritmos populares como SVM y LASSO. Sin embargo, creo que el descenso de...

Hay un hilo similar aquí (¿ La función de costo de la red neuronal no es convexa? ) Pero no pude entender los puntos en las respuestas allí y mi razón para preguntar nuevamente con la esperanza de que esto aclare algunos problemas: Si estoy usando la función de suma de costo de diferencia al...

¿Por qué es tan común obtener estimaciones de máxima verosimilitud de parámetros, pero prácticamente nunca se oye hablar de las estimaciones esperadas de parámetros de verosimilitud (es decir, en función del valor esperado en lugar del modo de una función de verosimilitud)? ¿Es esto principalmente...

Supongamos que tengo el siguiente modelo yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i donde yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i es un vector de variables explicativas, θθ\theta es los parámetros de la función no lineal fff y εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma) ,...

Necesito implementar un programa que clasifique los registros en 2 categorías (verdadero / falso) en función de algunos datos de entrenamiento, y me preguntaba qué algoritmo / metodología debería considerar. Parece que hay muchos para elegir: red neuronal artificial, algoritmo genético, aprendizaje...

En el entrenamiento de redes neuronales profundas y superficiales, ¿por qué los métodos de gradiente (p. Ej., Descenso de gradiente, Nesterov, Newton-Raphson) se usan comúnmente, en oposición a otras metaheurísticas? Por metaheurística me refiero a métodos como el recocido simulado, la...

He estado usando theano para experimentar con LSTM y me preguntaba qué métodos de optimización (SGD, Adagrad, Adadelta, RMSprop, Adam, etc.) funcionan mejor para LSTM. ¿Hay trabajos de investigación sobre este tema? Además, ¿la respuesta depende del tipo de aplicación para la que estoy usando el...