En estadística, esto se refiere a seleccionar un estimador de un parámetro maximizando o minimizando alguna función de los datos. Un ejemplo muy común es elegir un estimador que maximice la densidad conjunta (o función de masa) de los datos observados, lo que se conoce como estimación de máxima verosimilitud (MLE).
Actualmente estoy trabajando en implementar el Descenso de gradiente estocástico SGD, para redes neuronales que usan propagación hacia atrás, y aunque entiendo su propósito, tengo algunas preguntas sobre cómo elegir valores para la tasa de aprendizaje. ¿La tasa de aprendizaje está relacionada con...
Por lo tanto, no he podido encontrar ninguna literatura sobre este tema, pero parece algo que vale la pena pensar: ¿Cuáles son las mejores prácticas en capacitación y optimización de modelos si hay nuevas observaciones disponibles? ¿Hay alguna forma de determinar el período / frecuencia de volver...
Al entrenar redes neuronales, un hiperparámetro es del tamaño de un minibatch. Las opciones comunes son 32, 64 y 128 elementos por mini lote. ¿Existen reglas / pautas sobre el tamaño de un mini lote? ¿Alguna publicación que investigue el efecto en el
Me pregunto si hay algún escenario en el que el descenso de gradiente no converja al mínimo. Soy consciente de que no siempre se garantiza que el descenso de gradiente converja a un óptimo global. También soy consciente de que podría diferir de un óptimo si, por ejemplo, el tamaño del paso es...
He estado usando redes neuronales por un tiempo ahora. Sin embargo, una cosa con la que lucho constantemente es la selección de un optimizador para entrenar la red (usando backprop). Lo que generalmente hago es comenzar con uno (por ejemplo, SGD estándar) y luego probar otros más de manera bastante...
Escuché a Andrew Ng (en un video que desafortunadamente ya no puedo encontrar) hablar sobre cómo la comprensión de los mínimos locales en problemas de aprendizaje profundo ha cambiado en el sentido de que ahora se consideran menos problemáticos porque en espacios de alta dimensión (encontrados en...
La página de Wikipedia que cita "Los elementos del aprendizaje estadístico" dice: Por lo general, para un problema de clasificación con características , ⌊ √pagpagp características p ⌋se utilizan en cada división.⌊ p-√⌋⌊pag⌋\lfloor \sqrt{p}\rfloor Entiendo que esta es una conjetura bastante...
Según tengo entendido, los algoritmos genéticos son herramientas poderosas para la optimización de objetivos múltiples. Además, la formación de redes neuronales (especialmente las profundas) es difícil y tiene muchos problemas (funciones de costos no convexas: mínimos locales, gradientes de...
Quiero saber si el descenso de gradiente es el algoritmo principal utilizado en optimizadores como Adam, Adagrad, RMSProp y varios otros optimizadores.
Parece el optimizador Adaptive Moment Estimation (Adam) casi siempre funciona mejor (alcanza un mínimo global de manera más rápida y confiable) al minimizar la función de costo en el entrenamiento de redes neuronales. ¿Por qué no usar siempre a Adán? ¿Por qué molestarse incluso en usar RMSProp u...
La función base R glm()utiliza la puntuación de los pescadores para MLE, mientras que glmnetparece utilizar el método de descenso de coordenadas para resolver la misma ecuación. El descenso coordinado es más eficiente en tiempo que Fisher Scoring, ya que Fisher Scoring calcula la matriz derivada de...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 5 años . Parece que la...
Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 4 años . Estoy...
Estoy usando tensorflow para escribir redes neuronales simples para un poco de investigación y he tenido muchos problemas con los pesos 'nan' durante el entrenamiento. Probé muchas soluciones diferentes, como cambiar el optimizador, cambiar la pérdida, el tamaño de los datos, etc., pero fue en...
Mientras tomaba un curso en línea sobre aprendizaje automático por Andrew Ng en Coursera, me encontré con un tema llamado sobreajuste . Sé que puede ocurrir cuando se usa el descenso de gradiente en una regresión lineal o logística, pero ¿puede ocurrir cuando se usan algoritmos de optimización...