Mis preguntas son: ¿Se garantiza que los modelos lineales generalizados (GLM) converjan a un máximo global? Si es así, ¿por qué? Además, ¿qué restricciones hay en la función de enlace para asegurar la convexidad? Mi comprensión de los GLM es que maximizan una función de probabilidad altamente...
He estado tratando de codificar un algoritmo para sugerir apuestas en juegos 1X2 (ponderados). Básicamente, cada juego tiene un conjunto de partidos (equipos locales vs fuera): 1: casa gana X: dibujar 2: visitante gana Para cada coincidencia y símbolo ( 1, Xy 2), asignaré un porcentaje que...
Estoy tratando de usar la pérdida al cuadrado para hacer una clasificación binaria en un conjunto de datos de juguete. Estoy usando mtcarsun conjunto de datos, uso millas por galón y peso para predecir el tipo de transmisión. El gráfico a continuación muestra los dos tipos de datos del tipo de...
Necesito encontrar el mínimo de una función. Leer los documentos en http://docs.scipy.org/doc/scipy/reference/optimize.html , veo que hay varios algoritmos que hacen lo mismo, es decir, encontrar el mínimo. ¿Cómo sé cuál debo elegir? algunos de los algoritmos enumerados Minimice una función...
Hay mucha literatura que enfatiza el método de maximización de expectativas en los modelos de mezcla (mezcla de Gauss, modelo oculto de Markov, etc.). ¿Por qué EM es importante? EM es solo una forma de hacer optimización y no se usa ampliamente como método basado en gradiente (gradiente decente o...
Descenso de gradiente estándar calcularía el gradiente para todo el conjunto de datos de entrenamiento. for i in range(nb_epochs): params_grad = evaluate_gradient(loss_function, data, params) params = params - learning_rate * params_grad Para un número predefinido de épocas, primero calculamos...
Estaba leyendo sobre el optimizador Adam para Deep Learning y encontré la siguiente oración en el nuevo libro Deep Learning de Begnio, Goodfellow y Courtville: Adam incluye correcciones de sesgo a las estimaciones de los momentos de primer orden (el término de momento) y los momentos de segundo...
En la configuración general del algoritmo de descenso de gradiente, tenemos donde x n es el punto actual, η es el tamaño del paso y g r a d i e n t x n es el gradiente evaluado en x n . Xn + 1= xnorte- η∗ gr a di e n tXnortexn+1=xn−η∗gradientxnx_{n+1} = x_{n} - \eta *
Como seguimiento a Mi red neuronal ni siquiera puede aprender la distancia euclidiana , simplifiqué aún más y traté de entrenar una única ReLU (con peso aleatorio) en una sola ReLU. Esta es la red más simple que existe y, sin embargo, la mitad del tiempo no logra converger. Si la suposición...
Me gustaría hacer coincidir las salidas de lmer (realmente glmer) con un ejemplo binomial de juguete. He leído las viñetas y creo que entiendo lo que está pasando. Pero al parecer no. Después de atascarme, arreglé la "verdad" en términos de los efectos aleatorios y busqué solo la estimación de los...
Estoy tratando de entender cómo se estiman los parámetros en el modelado ARIMA / Box Jenkins (BJ). Desafortunadamente, ninguno de los libros que he encontrado describe el procedimiento de estimación como el procedimiento de estimación de probabilidad de registro en detalle. Encontré el sitio web /...
He estado leyendo mucho sobre redes neuronales convolucionales y me preguntaba cómo evitan el problema del gradiente de fuga. Sé que las redes de creencias profundas apilan codificadores automáticos de un solo nivel u otras redes poco profundas previamente entrenadas y, por lo tanto, puedo evitar...
Experimenté un poco con diferentes implementaciones de Perceptron y quiero asegurarme de entender las "iteraciones" correctamente. La regla original del perceptrón de Rosenblatt Según tengo entendido, en el clásico algoritmo perceptrón de Rosenblatt, los pesos se actualizan simultáneamente...
He escuchado la siguiente expresión antes: "La optimización es la raíz de todo mal en las estadísticas". Por ejemplo, la respuesta principal en este hilo hace esa declaración en referencia al peligro de optimizar demasiado agresivamente durante la selección del modelo. Mi primera pregunta es...
Tengo una pregunta sobre la optimización de parámetros cuando uso la validación cruzada 10 veces. Quiero preguntar si los parámetros deberían arreglarse o no durante el entrenamiento del modelo de cada pliegue, es decir (1) seleccionar un conjunto de parámetros optimizados para la precisión...
Sé que k-means generalmente se optimiza usando Maximización de Expectativas . Sin embargo, podríamos optimizar su función de pérdida de la misma manera que optimizamos cualquier otra. Encontré algunos documentos que en realidad usan el descenso de gradiente estocástico para medios k a gran escala,...
El propósito del trabajo era optimizar algunos parámetros maximizando la probabilidad de registro regularizada. Luego calculan derivadas parciales. Y luego, los autores mencionan que optimizan la ecuación utilizando L-BFGS, un procedimiento estándar de cuasi-Newton para optimizar las funciones...
¿Alguna recomendación para elegir una biblioteca de optimización restringida adecuada para mi función de optimización? Estoy minimizando ai) la función no lineal con restricciones lineales de igualdad y desigualdad, y ii) tengo disponible el gradiente y el hessian de la función. Si ayuda, la...
Mi objetivo es clasificar las señales del sensor. El concepto de mi solución hasta ahora es: i) Características de ingeniería de la señal sin procesar ii) Seleccionar características relevantes con ReliefF y un enfoque de agrupamiento iii) Aplicar NN, Bosque aleatorio y SVM Sin embargo, estoy...
Esta pregunta trata sobre la estimación de máxima verosimilitud restringida (REML) en una versión particular del modelo lineal, a saber: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), donde es una matriz ( n × p )...