Específicamente, supongo que me pregunto acerca de esta declaración:
Las futuras versiones principales de TensorFlow permitirán que los gradientes fluyan a la entrada de etiquetas en backprop de forma predeterminada.
Que se muestra cuando lo uso tf.nn.softmax_cross_entropy_with_logits
. En el mismo mensaje me insta a echar un vistazo tf.nn.softmax_cross_entropy_with_logits_v2
. Revisé la documentación pero solo dice que para tf.nn.softmax_cross_entropy_with_logits_v2
:
La propagación hacia atrás ocurrirá tanto en logits como en etiquetas. Para no permitir la propagación hacia atrás en las etiquetas, pase los tensores de la etiqueta a través de un stop_gradients antes de alimentarlo a esta función.
en oposición a, tf.nn.softmax_cross_entropy_with_logits
's:
La propagación hacia atrás solo ocurrirá en logits.
Siendo muy nuevo en el tema (estoy tratando de hacer algunos tutoriales básicos) esas declaraciones no son muy claras. Tengo una comprensión superficial de la propagación hacia atrás, pero ¿qué significa realmente la declaración anterior? ¿Cómo se conectan la propagación hacia atrás y las etiquetas? ¿Y cómo cambia esto la forma en que trabajo tf.nn.softmax_cross_entropy_with_logits_v2
en lugar del original?
fuente
softmax_..._with_logits_v2
funcionarán comosoftmax_with_logits
? (O podría usar tf.stop_gradient en la variable de etiquetas).