Use esta etiqueta para cualquier uso de optimización dentro de las estadísticas.
Esto es algo que me ha estado molestando por un tiempo, y no pude encontrar ninguna respuesta satisfactoria en línea, así que aquí va: Después de revisar un conjunto de conferencias sobre optimización convexa, el método de Newton parece ser un algoritmo muy superior al descenso de gradiente para...
Supongamos que tenemos un conjunto de entrenamiento para . Supongamos también que ejecutamos algún tipo de algoritmo de aprendizaje supervisado en el conjunto de entrenamiento. Las hipótesis se representan como . Necesitamos encontrar los parámetros que minimicen la "distancia" entre y ....
Muchos libros y tutoriales de redes neuronales dedican mucho tiempo al algoritmo de retropropagación, que es esencialmente una herramienta para calcular el gradiente. Supongamos que estamos construyendo un modelo con ~ 10K parámetros / pesos. ¿Es posible ejecutar la optimización usando algunos...
La función de activación de tanh es: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Donde σ(x)σ(x)\sigma(x) , la función sigmoide, se define como: σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} . Preguntas: ¿Realmente importa entre...
En la mayoría de las tareas de aprendizaje automático en las que puede formular alguna probabilidad que debería maximizarse, en realidad optimizaríamos la probabilidad de lugar de la probabilidad de algunos parámetros . Por ejemplo, en el entrenamiento de máxima verosimilitud, generalmente es el...
El descenso de gradiente y muchos otros métodos son útiles para encontrar mínimos locales en las funciones de costos. Pueden ser eficientes cuando la función de costo se puede evaluar rápidamente en cada punto, ya sea numérica o analíticamente. Tengo lo que me parece una situación inusual. Cada...
He leído mucho sobre PCA, incluidos varios tutoriales y preguntas (como este , este , este y este ). El problema geométrico que PCA está tratando de optimizar es claro para mí: PCA trata de encontrar el primer componente principal minimizando el error de reconstrucción (proyección), que maximiza...
Entonces, el descenso de gradiente basado en el impulso funciona de la siguiente manera: v = s e l f. m o m e n t u m ∗ m - l r ∗ gv=self.momentum∗m−lr∗gv=self.momentum*m-lr*g donde es la actualización de peso anterior, y g es el gradiente actual con respecto a los parámetros p , l r es la tasa...
En una reciente publicación de blog de Rong Ge, se dijo que: Se cree que para muchos problemas, incluido el aprendizaje de redes profundas, casi todos los mínimos locales tienen un valor de función muy similar al óptimo global y, por lo tanto, encontrar un mínimo local es lo suficientemente...
Estoy familiarizado con los algoritmos básicos de descenso de gradiente para entrenar redes neuronales. He leído el documento que propone a Adam: ADAM: UN MÉTODO PARA LA OPTIMIZACIÓN ESTOCÁSTICA . Si bien definitivamente tengo algunas ideas (al menos), el documento parece tener un nivel demasiado...
Momentum se usa para disminuir las fluctuaciones en los cambios de peso en iteraciones consecutivas:αα\alpha dondeE(w)es la función de error,w- el vector de pesos,η- tasa de aprendizaje.Δωi(t+1)=−η∂E∂wi+αΔωi(t),Δωi(t+1)=−η∂E∂wi+αΔωi(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} +...
Actualmente estoy revisando la búsqueda aleatoria de Bengio y Bergsta para la optimización de hiperparámetros [1], donde los autores afirman que la búsqueda aleatoria es más eficiente que la búsqueda de cuadrícula para lograr un rendimiento aproximadamente igual. Mi pregunta es: ¿la gente aquí...
¿Alguien puede darme alguna intuición sobre cuándo elegir SVM o LR? Quiero entender la intuición detrás de cuál es la diferencia entre los criterios de optimización para aprender el hiperplano de los dos, donde los objetivos respectivos son los siguientes: SVM: intente maximizar el margen entre...
Derivar numéricamente los MLE s de GLMM es difícil y, en la práctica, lo sé, no debemos usar la optimización de la fuerza bruta (por ejemplo, usarla optimde una manera simple). Pero para mi propio propósito educativo, quiero probarlo para asegurarme de que entiendo correctamente el modelo (vea el...
Esta pregunta puede ser demasiado abierta para obtener una respuesta definitiva, pero espero que no. Los algoritmos de aprendizaje automático, como SVM, GBM, Random Forest, etc., generalmente tienen algunos parámetros libres que, más allá de alguna guía práctica, deben ajustarse a cada conjunto de...
El algoritmo PCA se puede formular en términos de la matriz de correlación (suponga que los datos XXX ya se han normalizado y solo estamos considerando la proyección en la primera PC). La función objetivo se puede escribir como: maxw(Xw)T(Xw)s.t.wTw=1.maxw(Xw)T(Xw)s.t.wTw=1. \max_w (Xw)^T(Xw)\; \:...
Al hacer la regresión, por ejemplo, dos hiperparámetros para elegir son a menudo la capacidad de la función (por ejemplo, el mayor exponente de un polinomio) y la cantidad de regularización. Lo que me confunde es, ¿por qué no elegir una función de baja capacidad y luego ignorar cualquier...
Si los hessianos son tan buenos para la optimización (ver, por ejemplo, el método de Newton ), ¿por qué detenerse allí? ¿Vamos a usar las derivadas tercera, cuarta, quinta y sexta? Por qué
Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol '...
Acabo de encontrar este artículo , que describe cómo calcular la repetibilidad (también conocida como confiabilidad, también conocida como correlación intraclase) de una medición a través del modelado de efectos mixtos. El código R sería: #fit the model fit =