Ejemplo paso a paso de diferenciación automática en modo inverso

Digamos que tenemos la expresión y queremos encontrar derivados y . El modo inverso AD divide esta tarea en 2 partes, a saber, pases hacia adelante y hacia atrás. $z = x_1x_2 + \sin(x_1)$ $\frac{dz}{dx_1}$ $\frac{dz}{dx_2}$

Pase adelantado

Primero, descomponemos nuestra expresión compleja en un conjunto de primitivas, es decir, expresiones que consisten en, a lo sumo, llamada de función única. Tenga en cuenta que también cambio el nombre de las variables de entrada y salida por coherencia, aunque no es necesario:

w_{1} = x_{1}

$w_1 = x_1$

w_{2} = x_{2}

$w_2 = x_2$

w_{3} = w_{1} w_{2}

$w_3 = w_1w_2$

w_{4} = \sin (w_{1})

$w_4 = \sin(w_1)$

w_{5} = w_{3} + w_{4}

$w_5 = w_3 + w_4$

z = w_{5}

$z = w_5$

La ventaja de esta representación es que las reglas de diferenciación para cada expresión separada ya son conocidas. Por ejemplo, sabemos que la derivada de es , y entonces . Usaremos este hecho en el paso inverso a continuación. $\sin$ $\cos$ $\frac{dw_4}{dw_1} = \cos(w_1)$

Esencialmente, el pase directo consiste en evaluar cada una de estas expresiones y guardar los resultados. Digamos que nuestras entradas son: y . Entonces tenemos: $x_1 = 2$ $x_2 = 3$

w_{1} = x_{1} = 2

$w_1 = x_1 = 2$

w_{2} = x_{2} = 3

$w_2 = x_2 = 3$

w_{3} = w_{1} w_{2} = 6

$w_3 = w_1w_2 = 6$

w_{4} = \sin (w_{1}) = 0.9

$w_4 = \sin(w_1) ~= 0.9$

w_{5} = w_{3} + w_{4} = 6.9

$w_5 = w_3 + w_4 = 6.9$

z = w_{5} = 6.9

$z = w_5 = 6.9$

Pase reverso

Aquí es donde comienza la magia, y comienza con la regla de la cadena . En su forma básica, la regla de la cadena establece que si tiene una variable que depende de que, a su vez, depende de , entonces: $t(u(v))$ $u$ $v$

\frac{d t}{d v} = \frac{d t}{d u} \frac{d u}{d v}

$\frac{dt}{dv} = \frac{dt}{du}\frac{du}{dv}$

o, si depende de través de varias rutas / variables , por ejemplo: $t$ $v$ $u_i$

u_{1} = f (v)

$u_1 = f(v)$

u_{2} = g (v)

$u_2 = g(v)$

t = h (u_{1}, u_{2})

$t = h(u_1, u_2)$

entonces (ver prueba aquí ):

\frac{d t}{d v} = \sum_{i} \frac{d t}{d u_{i}} \frac{d u_{i}}{d v}

$\frac{dt}{dv} = \sum_i \frac{dt}{du_i}\frac{du_i}{dv}$

En términos de gráfico de expresión, si tenemos un nodo final y nodos de entrada , y la ruta de a pasa por los nodos intermedios (es decir, donde ), podemos encontrar derivadas como $z$ $w_i$ $z$ $w_i$ $w_p$ $z = g(w_p)$ $w_p = f(w_i)$ $\frac{dz}{dw_i}$

\frac{d z}{d w_{i}} = \sum_{p \in p a r e n t s (i)} \frac{d z}{d w_{p}} \frac{d w_{p}}{d w_{i}}

$\frac{dz}{dw_i} = \sum_{p \in parents(i)} \frac{dz}{dw_p} \frac{dw_p}{dw_i}$

En otras palabras, para calcular la derivada de la variable de salida wrt cualquier variable intermedia o de entrada , solo necesitamos conocer las derivadas de sus padres y la fórmula para calcular la derivada de la expresión primitiva . $z$ $w_i$ $w_p = f(w_i)$

El pase inverso comienza al final (es decir, ) y se propaga hacia atrás a todas las dependencias. Aquí tenemos (expresión para "semilla"): $\frac{dz}{dz}$

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

Eso puede leerse como "el cambio en da como resultado exactamente el mismo cambio en ", lo cual es bastante obvio. $z$ $z$

Entonces sabemos que y así: $z = w_5$

\frac{d z}{d w_{5}} = 1

$\frac{dz}{dw_5} = 1$

$w_5$ depende linealmente de y , entonces y . Usando la regla de la cadena encontramos: $w_3$ $w_4$ $\frac{dw_5}{dw_3} = 1$ $\frac{dw_5}{dw_4} = 1$

\frac{d z}{d w_{3}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{3}} = 1 \times 1 = 1

$\frac{dz}{dw_3} = \frac{dz}{dw_5} \frac{dw_5}{dw_3} = 1 \times 1 = 1$

\frac{d z}{d w_{4}} = \frac{d z}{d w_{5}} \frac{d w_{5}}{d w_{4}} = 1 \times 1 = 1

$\frac{dz}{dw_4} = \frac{dz}{dw_5} \frac{dw_5}{dw_4} = 1 \times 1 = 1$

De la definición y las reglas de derivadas parciales, encontramos que . Así: $w_3 = w_1w_2$ $\frac{dw_3}{dw_2} = w_1$

\frac{d z}{d w_{2}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{2}} = 1 \times w_{1} = w_{1}

$\frac{dz}{dw_2} = \frac{dz}{dw_3} \frac{dw_3}{dw_2} = 1 \times w_1 = w_1$

Lo cual, como ya sabemos por pase adelantado, es:

\frac{d z}{d w_{2}} = w_{1} = 2

$\frac{dz}{dw_2} = w_1 = 2$

Finalmente, contribuye a través de y . Una vez más, a partir de las reglas de derivadas parciales, sabemos que y . Así: $w_1$ $z$ $w_3$ $w_4$ $\frac{dw_3}{dw_1} = w_2$ $\frac{dw_4}{dw_1} = \cos(w_1)$

\frac{d z}{d w_{1}} = \frac{d z}{d w_{3}} \frac{d w_{3}}{d w_{1}} + \frac{d z}{d w_{4}} \frac{d w_{4}}{d w_{1}} = w_{2} + \cos (w_{1})

$\frac{dz}{dw_1} = \frac{dz}{dw_3} \frac{dw_3}{dw_1} + \frac{dz}{dw_4} \frac{dw_4}{dw_1} = w_2 + \cos(w_1)$

Y de nuevo, dadas las entradas conocidas, podemos calcularlo:

\frac{d z}{d w_{1}} = w_{2} + \cos (w_{1}) = 3 + \cos (2) = 2.58

$\frac{dz}{dw_1} = w_2 + \cos(w_1) = 3 + \cos(2) ~= 2.58$

Como y son solo alias para y , obtenemos nuestra respuesta: $w_1$ $w_2$ $x_1$ $x_2$

\frac{d z}{d x_{1}} = 2.58

$\frac{dz}{dx_1} = 2.58$

\frac{d z}{d x_{2}} = 2

$\frac{dz}{dx_2} = 2$

¡Y eso es!

Esta descripción se refiere solo a entradas escalares, es decir, números, pero de hecho también se puede aplicar a matrices multidimensionales como vectores y matrices. Dos cosas que uno debe tener en cuenta al diferenciar expresiones con tales objetos:

Los derivados pueden tener una dimensionalidad mucho más alta que las entradas o salidas, por ejemplo, la derivada del vector wrt es una matriz y la derivada de la matriz wrt es una matriz de 4 dimensiones (a veces denominada tensor). En muchos casos, estos derivados son muy escasos.
Cada componente en la matriz de salida es una función independiente de 1 o más componentes de la (s) matriz (s) de entrada. Por ejemplo, si y e son vectores, nunca depende de , sino solo del subconjunto de . En particular, esto significa que encontrar la derivada reduce a rastrear cómo depende de . $y = f(x)$ $x$ $y$ $y_i$ $y_j$ $x_k$ $\frac{dy_i}{dx_j}$ $y_i$ $x_j$

El poder de la diferenciación automática es que puede manejar estructuras complicadas de lenguajes de programación como condiciones y bucles. Sin embargo, si todo lo que necesita son expresiones algebraicas y tiene un marco lo suficientemente bueno como para trabajar con representaciones simbólicas, es posible construir expresiones completamente simbólicas. De hecho, en este ejemplo podríamos producir la expresión y calcular esta derivada para cualquier entrada que queramos. $\frac{dz}{dw_1} = w_2 + \cos(w_1) = x_2 + \cos(x_1)$

amigo
fuente

Muy útil pregunta / respuesta. Gracias. Solo una pequeña crítica: parece que te mueves en una estructura de árbol sin explicar (es cuando comienzas a hablar de padres, etc.)

MadHatter

Además, no hará daño aclarar por qué necesitamos semillas.

MadHatter

@MadHatter gracias por el comentario. Traté de reformular un par de párrafos (estos que se refieren a los padres) para enfatizar una estructura gráfica. También agregué "semilla" al texto, aunque este nombre en sí mismo puede ser engañoso en mi opinión: en AD semilla siempre es una expresión fija - , no es algo que pueda elegir o generar.

\frac{d z}{d z} = 1

$\frac{dz}{dz} = 1$

amigo

¡Gracias! Me di cuenta cuando tienes que establecer más de una "semilla", generalmente uno elige 1 y 0. Me gustaría saber por qué. Quiero decir, uno toma el "cociente" de un wrt diferencial, por lo que "1" está al menos intuitivamente justificado. Pero ¿qué pasa con 0? ¿Y si uno tiene que recoger más de 2 semillas?

MadHatter

Según tengo entendido, más de una semilla se usa solo en AD de modo directo. En este caso, establece la semilla en 1 para una variable de entrada que desea diferenciar con respecto y establece la semilla en 0 para todas las demás variables de entrada para que no contribuyan al valor de salida. En el modo inverso, establece la semilla en una variable de salida , y normalmente solo tiene una variable de salida. Supongo que puede construir una tubería AD en modo inverso con varias variables de salida y establecerlas todas, pero una en 0, para obtener el mismo efecto que en el modo directo, pero nunca he investigado esta opción.

amigo

Ejemplo paso a paso de diferenciación automática en modo inverso

Respuestas:

Pase adelantado

Pase reverso