Softmax desbordamiento [cerrado]

Esperando el próximo curso de Andrew Ng en Coursera, estoy tratando de programar en Python un clasificador con la función softmax en la última capa para tener las diferentes probabilidades. Sin embargo, cuando trato de usarlo en el conjunto de datos CIFAR-10 (entrada: (3072, 10000)), encuentro un desbordamiento cuando calcula los exponenciales. De hecho, tengo números como 5000, 10000 o 25000.

Ya he probado dos cosas:

resta una constante a la matriz antes de calcular el exponencial, pero tengo una gran diferencia entre los números, así que no puedo hacer eso.
calcule el exponencial del registro de la matriz pero aún se desborda.

¿Alguien puede ayudarme a evitar este problema?

Gracias

EDITAR: https://github.com/Kentena/softmax/

softmax numerics Dlmss
fuente

Miles han jugado en todo el conjunto de datos CIFAR10 y NNs. Es posible que haya estropeado su código. ¿Puedes mostrarlo?

tagoma

Sí, actualicé mi publicación y publiqué un repositorio de github. Sin embargo, mi código no está comentado: /

Dlmss

Respuestas:

Observe que para cualquier constante .

\frac{{mi}^{X_{yo}}}{\sum_{j} {mi}^{X_{j}}} = \frac{{mi}^{- metro}}{{mi}^{- metro}} \frac{{mi}^{X_{yo}}}{\sum_{j} {mi}^{X_{j}}} = \frac{{mi}^{X_{yo} - metro}}{\sum_{j} {mi}^{X_{j} - metro}}

$\frac{e^{x_i}}{\sum_j e^{x_j}} = \frac{e^{-m}}{e^{-m}}\frac{e^{x_i}}{\sum_j e^{x_j}}= \frac{e^{x_i-m}}{\sum_j e^{x_j-m}}$

m

$m$

Obviamente no es cierto que , pero las versiones normalizadas son las mismas. Su problema es que las s son demasiado grandes, así que reste el mismo número de todas ellas antes de tomar el softmax. A veces las personas establecen que es el máximo de todas las s. $e^{x_i} = e^{x_i-m}$ $x_i$ $m$ $m$ $x_i$

Taylor
fuente