Para preguntas sobre el tema que involucran el concepto matemático de una derivada, es decir, . Para preguntas puramente matemáticas sobre la derivada, es mejor preguntar en matemáticas SE https://math.stackexchange.com/ re re X F ( x ) rereXF(X)
Estoy haciendo el curso Stanford de Machine Learning en Coursera. En el capítulo sobre Regresión logística, la función de costo es esta: Entonces, se deriva aquí: Intenté obtener la derivada de la función de costo, pero obtuve algo completamente diferente. ¿Cómo se obtiene la...
No estoy seguro si esta pregunta pertenece aquí, pero está estrechamente relacionada con los métodos de gradiente en la optimización, que parece estar en el tema aquí. De todos modos, siéntase libre de migrar si cree que alguna otra comunidad tiene una mejor experiencia en el tema. En resumen,...
En el libro de reconocimiento de patrones y aprendizaje automático (fórmula 1.27), da dondex=g(y),px(x)es el pdf que corresponde apy(y)py(y)=px(x)∣∣∣dxdy∣∣∣=px(g(y))|g′(y)|py(y)=px(x)|dxdy|=px(g(y))|g′(y)|p_y(y)=p_x(x) \left | \frac{d x}{d y} \right |=p_x(g(y)) | g'(y)...
Creo que la derivada de un proceso gaussiano (GP) es otra GP, por lo que me gustaría saber si hay ecuaciones de forma cerrada para las ecuaciones de predicción de la derivada de una GP. En particular, estoy usando el núcleo de covarianza exponencial al cuadrado (también llamado gaussiano) y quiero...
He visto en algunos puntos el uso de la derivada Radon-Nikodym de una medida de probabilidad con respecto a otra, especialmente en la divergencia Kullback-Leibler, donde es la derivada de la medida de probabilidad de un modelo para algún parámetro arbitrario con respecto al parámetro real...
En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada
Entiendo que las redes neuronales (NN) pueden considerarse aproximadores universales a ambas funciones y sus derivadas, bajo ciertos supuestos (tanto en la red como en la función para aproximar). De hecho, he realizado una serie de pruebas en funciones simples pero no triviales (p. Ej.,...
En el curso de aprendizaje automático de Andrew Ng, usa esta fórmula: ∇UNAt r ( A B ATC) = CA B + CTA BT∇Atr(ABATC)=CAB+CTABT\nabla_A tr(ABA^TC) = CAB + C^TAB^T y él hace una prueba rápida que se muestra a continuación: ∇UNAt r ( A B ATC)= ∇UNAt r ( f( A ) ATC)= ∇∘t r ( f( ∘ ) ATC) + ∇∘t r (...
Muchas referencias (incluidas wikipedia y http://www.atmos.washington.edu/~dennis/MatrixCalculus.pdf y http://michael.orlitzky.com/articles/the_derivative_of_a_quadratic_form.php ) definen la derivada de un funcionar por un vector como derivadas parciales de la función organizada en una fila (por...
He estado tratando de crear un programa para entrenar redes neuronales en mi computadora. Para la red en cuestión, he decidido usar la función Error de entropía cruzada: mi= -∑jtjEnojE=−∑jtjlnojE = -\sum_jt_j\ln o_j Dónde tjtjt_j es la salida objetivo para la neurona jjjy ojojo_j es la salida de...