En la capa de salida de una red neuronal, es típico usar la función softmax para aproximar una distribución de probabilidad:

Esto es costoso de calcular debido a los exponentes. ¿Por qué no simplemente realizar una transformación Z para que todas las salidas sean positivas y luego normalizar simplemente dividiendo todas las salidas por la suma de todas las salidas?

Hay un buen atributo de Softmax en comparación con la normalización estándar.

Reacciona a una baja estimulación (piense en una imagen borrosa) de su red neuronal con una distribución bastante uniforme y a una alta estimulación (es decir, números grandes, piense en una imagen nítida) con probabilidades cercanas a 0 y 1.

Si bien la normalización estándar no importa, siempre que la proporción sea la misma.

Eche un vistazo a lo que sucede cuando soft max tiene una entrada 10 veces mayor, es decir, su red neuronal obtuvo una imagen nítida y se activaron muchas neuronas

>>> softmax([1,2])              # blurry image of a ferret
[0.26894142,      0.73105858])  #     it is a cat perhaps !?
>>> softmax([10,20])            # crisp image of a cat
[0.0000453978687, 0.999954602]) #     it is definitely a CAT !

Y luego compárelo con la normalización estándar

>>> std_norm([1,2])                      # blurry image of a ferret
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?
>>> std_norm([10,20])                    # crisp image of a cat
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?

He tenido esta pregunta por meses. Parece que simplemente adivinamos el softmax como una función de salida y luego interpretamos la entrada al softmax como probabilidades de registro. Como dijiste, ¿por qué no simplemente normalizar todos los resultados dividiéndolos por su suma? Encontré la respuesta en el libro Deep Learning de Goodfellow, Bengio y Courville (2016) en la sección 6.2.2.

Digamos que nuestra última capa oculta nos da z como una activación. Entonces el softmax se define como

Muy corta explicación

La exp en la función softmax cancela aproximadamente el registro en la pérdida de entropía cruzada, causando que la pérdida sea aproximadamente lineal en z_i. Esto conduce a un gradiente aproximadamente constante, cuando el modelo está equivocado, lo que le permite corregirse rápidamente. Por lo tanto, un softmax saturado incorrecto no causa un gradiente de fuga.

Breve explicación

El método más popular para entrenar una red neuronal es la Estimación de máxima verosimilitud. Estimamos los parámetros theta de una manera que maximiza la probabilidad de los datos de entrenamiento (de tamaño m). Como la probabilidad de todo el conjunto de datos de entrenamiento es un producto de las probabilidades de cada muestra, es más fácil maximizar la probabilidad logarítmica del conjunto de datos y, por lo tanto, la suma de la probabilidad logarítmica de cada muestra indexada por k:

Ahora, solo nos centramos en el softmax aquí con z ya dado, por lo que podemos reemplazar

siendo yo la clase correcta de la késima muestra. Ahora, vemos que cuando tomamos el logaritmo del softmax, para calcular la probabilidad logarítmica de la muestra, obtenemos:

, que para grandes diferencias en z se aproxima aproximadamente a

Primero, vemos el componente lineal z_i aquí. En segundo lugar, podemos examinar el comportamiento de max (z) para dos casos:

1. Si el modelo es correcto, entonces max (z) será z_i. Por lo tanto, el logaritmo de probabilidad asintota a cero (es decir, una probabilidad de 1) con una diferencia creciente entre z_i y las otras entradas en z.
2. Si el modelo es incorrecto, max (z) será otro z_j> z_i. Por lo tanto, la adición de z_i no cancela completamente -z_j y la probabilidad de registro es aproximadamente (z_i - z_j). Esto le dice claramente al modelo qué hacer para aumentar la probabilidad de registro: aumentar z_i y disminuir z_j.

Vemos que la probabilidad de registro general estará dominada por muestras, donde el modelo es incorrecto. Además, incluso si el modelo es realmente incorrecto, lo que conduce a un softmax saturado, la función de pérdida no se satura. Es aproximadamente lineal en z_j, lo que significa que tenemos un gradiente aproximadamente constante. Esto permite que el modelo se corrija rápidamente. Tenga en cuenta que este no es el caso del error cuadrático medio, por ejemplo.

Larga explicación

Si el softmax todavía le parece una elección arbitraria, puede echar un vistazo a la justificación para usar el sigmoide en la regresión logística:

¿Por qué la función sigmoidea en lugar de cualquier otra cosa?

El softmax es la generalización del sigmoide para problemas multiclase justificados de manera análoga.

La explicación aquí me pareció muy buena: CS231n: Redes neuronales convolucionales para el reconocimiento visual.

En la superficie, el algoritmo softmax parece ser una normalización no lineal simple (estamos difundiendo los datos con exponencial). Sin embargo, hay más que eso.

Específicamente, hay un par de vistas diferentes (el mismo enlace que el anterior ):

1. Teoría de la información: desde la perspectiva de la teoría de la información, la función softmax puede verse como un intento de minimizar la entropía cruzada entre las predicciones y la verdad.

2. Vista probabilística: desde esta perspectiva, de hecho, estamos observando las probabilidades de registro, por lo tanto, cuando realizamos la exponenciación, terminamos con las probabilidades brutas. En este caso, la ecuación softmax encuentra el MLE (Estimación de probabilidad máxima)

En resumen, aunque la ecuación softmax parece que podría ser arbitraria, NO lo es. En realidad, es una forma más bien basada en principios de normalizar las clasificaciones para minimizar la probabilidad de entropía cruzada / negativa entre las predicciones y la verdad.

Los valores de q_i representan log-verosimilitudes. Para recuperar los valores de probabilidad, debe exponerlos.

Una razón por la cual los algoritmos estadísticos a menudo usan funciones de pérdida de probabilidad logarítmica es que son más estables numéricamente: un producto de probabilidades puede representarse como un número de coma flotante muy pequeño. Usando una función de pérdida de probabilidad logarítmica, un producto de probabilidades se convierte en una suma.

Otra razón es que las probabilidades de registro ocurren naturalmente cuando se obtienen estimadores para variables aleatorias que se supone que se extraen de distribuciones gaussianas multivariadas. Vea, por ejemplo, el estimador de máxima verosimilitud (ML) y la forma en que está conectado a los mínimos cuadrados.

Como nota al margen, creo que esta pregunta es más apropiada para la teoría de CS o intercambios de pila de ciencia computacional.

Estamos viendo un problema de clasificación multiclase. Es decir, la variable predicha ypuede tomar una de las kcategorías, donde k > 2. En la teoría de la probabilidad, esto generalmente está modelado por una distribución multinomial. La distribución multinomial es un miembro de distribuciones familiares exponenciales. Podemos reconstruir la probabilidad P(k=?|x)usando propiedades de distribuciones familiares exponenciales, coincide con la fórmula softmax.

Si cree que el problema puede ser modelado por otra distribución, que no sea multinomial, entonces podría llegar a una conclusión que es diferente de softmax.

Para obtener más información y una derivación formal, consulte las notas de clase CS229 (9.3 Regresión Softmax) .

Además, un truco útil que generalmente se realiza para softmax es: softmax (x) = softmax (x + c) , softmax es invariante a los desplazamientos constantes en la entrada.

Creo que una de las razones puede ser tratar con los números negativos y la división por cero, ya que exp (x) siempre será positivo y mayor que cero.

Por ejemplo, para que a = [-2, -1, 1, 2]la suma sea 0, podemos usar softmax para evitar la división por cero.

Supongamos que cambiamos la función softmax para que las activaciones de salida estén dadas por

donde ces una constante positiva Tenga en cuenta que c=1corresponde a la función softmax estándar. Pero si usamos un valor diferente de cobtenemos una función diferente, que sin embargo es cualitativamente bastante similar al softmax. En particular, demuestre que las activaciones de salida forman una distribución de probabilidad, al igual que para el softmax habitual. Supongamos que permitimos cllegar a ser grande, es decir, c→∞. ¿Cuál es el valor límite para las activaciones de salida a^L_j? Después de resolver este problema, debe quedar claro por qué pensamos en la c=1función como una versión "suavizada" de la función máxima. Este es el origen del término "softmax". Puede seguir los detalles de esta fuente (ecuación 83).

Agregando a la respuesta de Piotr Czapla, cuanto mayores son los valores de entrada, mayor es la probabilidad de la entrada máxima, para la misma proporción y en comparación con las otras entradas:

La elección de la función softmax parece de alguna manera arbitraria ya que hay muchas otras posibles funciones de normalización. Por lo tanto, no está claro por qué la pérdida de log-softmax funcionaría mejor que otras alternativas de pérdida.

De " Una exploración de las alternativas de Softmax que pertenecen a la familia de pérdida esférica " https://arxiv.org/abs/1511.05042

Los autores exploraron algunas otras funciones, como la expansión de Taylor expy el llamado softmax esférico, y descubrieron que a veces pueden funcionar mejor de lo habitual softmax.