Sé la definición de matriz simétrica positiva definida (SPD), pero quiero entender más. ¿Por qué son tan importantes, intuitivamente? Aquí está lo que sé. ¿Qué más? Para un dato dado, la matriz de covarianza es SPD. La matriz de covarianza es una métrica importante; consulte esta excelente...
Los algoritmos genéticos son una forma de método de optimización. A menudo, el descenso de gradiente estocástico y sus derivados son la mejor opción para la optimización de la función, pero a veces todavía se utilizan algoritmos genéticos. Por ejemplo, la antena de la nave espacial ST5 de la NASA...
En el entrenamiento de redes neuronales profundas y superficiales, ¿por qué los métodos de gradiente (p. Ej., Descenso de gradiente, Nesterov, Newton-Raphson) se usan comúnmente, en oposición a otras metaheurísticas? Por metaheurística me refiero a métodos como el recocido simulado, la...
Tenemos muchas buenas discusiones sobre la separación perfecta en la regresión logística. Tal como, la regresión logística en R resultó en una separación perfecta (fenómeno de Hauck-Donner). ¿Ahora que? y el modelo de regresión logística no converge . Personalmente, todavía siento que no es...
Estoy aprendiendo sobre la optimización y tengo problemas para comprender la diferencia entre la optimización convexa y no convexa. Según tengo entendido, una función convexa es aquella en la que "el segmento de línea entre dos puntos cualquiera en el gráfico de la función se encuentra arriba o en...
Supongo que esta es una pregunta básica y tiene que ver con la dirección del gradiente en sí, pero estoy buscando ejemplos en los que los métodos de segundo orden (por ejemplo, BFGS ) sean más efectivos que el simple descenso del
Existe una importante investigación contemporánea sobre la optimización bayesiana (1) para ajustar los hiperparámetros ML. La motivación principal aquí es que se requiere un número mínimo de puntos de datos para tomar decisiones informadas sobre qué puntos vale la pena intentar (las llamadas a...
De cualquier algoritmo de muestreo genérico, uno puede derivar un algoritmo de optimización. De hecho, para maximizar una función arbitraria , es suficiente para extraer muestras de g ~ e f / T . Para suficientemente pequeño, estas muestras caerán cerca del máximo global (o máximos locales en la...
Estoy tratando de minimizar una función personalizada. Debe aceptar cinco parámetros y el conjunto de datos y hacer todo tipo de cálculos, produciendo un solo número como salida. Quiero encontrar una combinación de cinco parámetros de entrada que produzca la salida más pequeña de mi...
He visto conclusiones similares en muchas discusiones, que a medida que el tamaño del minibatch aumenta, la convergencia de SGD en realidad se vuelve más difícil / peor, por ejemplo, este documento y esta respuesta . También he oído hablar de personas que utilizan trucos como pequeñas tasas de...
Definimos una época como haber pasado por la totalidad de todas las muestras de entrenamiento disponibles, y el tamaño del mini lote como el número de muestras sobre el que promediamos para encontrar las actualizaciones de pesos / sesgos necesarios para descender el gradiente. Mi pregunta es si...
¿Existe una definición matemática o algorítmica de sobreajuste? Las definiciones que se proporcionan a menudo son el gráfico clásico de puntos en 2-D con una línea que pasa por cada punto y la curva de pérdida de validación que sube repentinamente. ¿Pero hay una definición matemáticamente...
Muchos tutoriales en línea hablan sobre el descenso del gradiente y casi todos usan un tamaño de paso fijo (tasa de aprendizaje ). ¿Por qué no se utiliza la búsqueda de línea (como la búsqueda de línea de retroceso o la búsqueda de línea
Se puede realizar una regresión logit en R usando dicho código: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Parece que el algoritmo de...
Encontré esta implementación de Python del algoritmo Jenks Natural Breaks y pude hacer que se ejecute en mi máquina con Windows 7. Es bastante rápido y encuentra los descansos en poco tiempo, considerando el tamaño de mis geodatos. Antes de usar este algoritmo de agrupamiento para mis datos, estaba...
¿Cuáles son las ventajas y desventajas de ambos
He estado tratando de codificar un algoritmo para sugerir apuestas en juegos 1X2 (ponderados). Básicamente, cada juego tiene un conjunto de partidos (equipos locales vs fuera): 1: casa gana X: dibujar 2: visitante gana Para cada coincidencia y símbolo ( 1, Xy 2), asignaré un porcentaje que...
Estoy usando la glmerfunción del lme4paquete en R, y estoy usando el bobyqaoptimizador (es decir, el predeterminado en mi caso). Recibo una advertencia y tengo curiosidad por saber qué significa. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence...
Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para obtener una solución, β R L , llamada solución 'LASSO relajada'...
Mis preguntas son: ¿Se garantiza que los modelos lineales generalizados (GLM) converjan a un máximo global? Si es así, ¿por qué? Además, ¿qué restricciones hay en la función de enlace para asegurar la convexidad? Mi comprensión de los GLM es que maximizan una función de probabilidad altamente...