Gradientes para skipgram word2vec

Estoy pasando por los problemas en los problemas de asignación escrita de la clase de aprendizaje profundo de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln

Estoy tratando de entender la respuesta para 3a donde están buscando la derivada del vector para la palabra central.

Suponga que se le da un vector de palabras pronosticado correspondiente a la palabra central c para el skipgram, y la predicción de palabras se realiza con la función softmax que se encuentra en los modelos word2vec.$v_{c}$

$\hat{y}^{o} = p(o | c) = \frac {exp(u_{o}^{T} v_{c})}{\sum_{w=1}^{W}exp(u_{w}^{T} v_{c})}$

Donde w denota la palabra w-ésima y (w = 1,..., W) son los vectores de palabras de "salida" para todas las palabras en el vocabulario. Suponga que el costo de entropía cruzada se aplica a esta predicción y que la palabra o es la palabra esperada.$u_w$

Donde es la matriz de todos los vectores de salida, y dejar que y sea el vector columna de la predicción softmax de las palabras, y y sea la etiqueta de una sola caliente que También es un vector de columna.$U = [u_1,u_2, · · · ,u_W ]$$\hat{y}$

Donde entropía cruz es $CE(y, \hat{y}) = − \sum_iy_i\log(\hat{y}_i)$

Entonces la respuesta para el gradiente para el vector central es $\frac{∂J}{∂v_c}= U^T(\hat{y} − y).$

$U^T(\hat{y} − y).$

Primero, expongamos lo que tenemos y nuestras suposiciones sobre las formas de diferentes vectores. Dejar,

1. $|W|$
2. $y$$\hat{y}$$|W|$
3. $u_i$$v_j$$D$$D$
4. $y$$|W|$
5. $\hat{y}$$|W|$
6. $\hat{y}_i = P(i|c) = \frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)}$
7. $J = -\sum_{i=1}^Wy_ilog({\hat{y_i}})$
8. $U = [u_1, u_2, ...,u_k, ...u_W]$$u_k$

$$J = - \sum_{i=1}^W y_i log(\frac{exp(u_i^Tv_c)}{\sum_{w=1}^Wexp(u_w^Tv_c)})$$ $$J = - \sum_{i=1}^Wy_i[u_i^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y$$k^{th}$$y_k$ $$J = -y_k[u_k^Tv_c - log(\sum_{w=1}^Wexp(u_w^Tv_c))]$$ $y_k$

$\frac{\partial J}{\partial v_c}$

$$\frac{\partial J}{\partial v_c} = -[u_k - \frac{\sum_{w=1}^Wexp(u_w^Tv_c)u_w}{\sum_{x=1}^Wexp(u_x^Tv_c)}]$$

$$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\frac{exp(u_w^Tv_c)}{\sum_{x=1}^W exp(u_x^Tv_c)}u_w) - u_k$$ $$\frac{\partial J}{\partial v_c} = \sum_{w=1}^W (\hat{y}_w u_w) - u_k$$

Ahora veamos cómo se puede escribir esto en notación Matrix.

1. $u_k$$U.y$
2. $\sum_{w=1}^W (\hat{y}_w u_w)$$u_w$$U$$\hat{y}_w$$U.\hat{y}$

$$U[\hat{y} -y]$$

$u_i$$U^T[\hat{y} -y]$