¿Función Softmax vs Sigmoid en clasificador logístico?

¿Qué decide la elección de la función (Softmax vs Sigmoid) en un clasificador logístico?

Supongamos que hay 4 clases de salida. Cada una de las funciones anteriores da las probabilidades de que cada clase sea la salida correcta. Entonces, ¿cuál tomar para un clasificador?

La función sigmoidea se usa para la regresión logística de dos clases, mientras que la función softmax se usa para la regresión logística multiclase (también conocida como MaxEnt, regresión logística multinomial, regresión softmax, clasificador de entropía máxima).

---

En la regresión logística de dos clases, las probabilidades predichas son las siguientes, utilizando la función sigmoidea:

$$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$$

En la regresión logística multiclase, con clases , las probabilidades predichas son las siguientes, utilizando la función softmax:$K$

$$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$$

---

Se puede observar que la función softmax es una extensión de la función sigmoidea al caso multiclase, como se explica a continuación. Veamos la regresión logística multiclase, con clases:$K=2$

$$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$$

con . Vemos que obtenemos las mismas probabilidades que en la regresión logística de dos clases usando la función sigmoide. Wikipedia se expande un poco más sobre eso.$\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

De hecho, son equivalentes, en el sentido de que uno puede transformarse en el otro.

Suponga que sus datos están representados por un vector , de dimensión arbitraria, y construyó un clasificador binario para ello, utilizando una transformación afín seguida de un softmax:$\boldsymbol{x}$

$$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$$ $$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$$

Transformémoslo en un clasificador binario equivalente que use un sigmoide en lugar del softmax. En primer lugar, tenemos que decidir cuál es la probabilidad de que queremos que salga el sigmoide (que puede ser para la clase o ). Esta elección es absolutamente arbitraria, por lo que elijo la clase . Entonces, mi clasificador tendrá la forma:$C_0$$C_1$$C_0$

$$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$$ $$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$$ $$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$$

Los clasificadores son equivalentes si las probabilidades son las mismas, por lo que debemos imponer:

$$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$$

Reemplazar , y por sus expresiones en términos de y y hacer algo sencillo manipulación algebraica, puede verificar que la igualdad anterior se mantenga si y solo si y están dados por:$z_0$$z_1$$z'$$\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$$\boldsymbol{x}$$\boldsymbol{w}'$$b'$

$$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$$ $$\begin{equation} b' = b_0-b_1. \end{equation}$$

He notado que las personas a menudo se dirigen a esta pregunta cuando buscan si usar sigmoid vs softmax en redes neuronales. Si usted es una de esas personas que construye un clasificador de red neuronal, a continuación se explica cómo aplicar sigmoid o softmax a los valores de salida sin formato de su red:

• Si tiene un problema de clasificación de etiquetas múltiples = hay más de una "respuesta correcta" = las salidas NO son mutuamente excluyentes, entonces use una función sigmoide en cada salida sin procesar de forma independiente. El sigmoide te permitirá tener una alta probabilidad para todas tus clases, algunas o ninguna. Ejemplo: clasificación de enfermedades en una imagen de rayos X de tórax. La imagen puede contener neumonía, enfisema y / o cáncer, o ninguno de esos hallazgos.
• Si tiene un problema de clasificación de clases múltiples = solo hay una "respuesta correcta" = las salidas son mutuamente excluyentes, entonces use una función softmax. El softmax exigirá que la suma de las probabilidades de sus clases de salida sea igual a una, por lo que para aumentar la probabilidad de una clase en particular, su modelo debe disminuir la probabilidad de al menos una de las otras clases. Ejemplo: clasificación de imágenes del conjunto de datos MNIST de dígitos escritos a mano. Una sola imagen de un dígito solo tiene una identidad verdadera: la imagen no puede ser un 7 y un 8 al mismo tiempo.

Referencia: para obtener una explicación más detallada de cuándo usar sigmoid vs. softmax en el diseño de redes neuronales, incluidos los ejemplos de cálculos, consulte este artículo: "Clasificación: Sigmoid vs. Softmax".

Además de todas las respuestas anteriores, me gustaría mencionar el hecho de que cualquier problema de clasificación de varias clases puede reducirse a múltiples problemas de clasificación binaria utilizando el método "uno contra todos", es decir, tener sigmoides C (cuando C es el número de clases) e interpretando cada sigmoide como la probabilidad de estar en esa clase específica o no, y tomando la probabilidad máxima.

Entonces, por ejemplo, en el ejemplo de dígitos MNIST, puede usar un softmax o diez sigmoides. De hecho, esto es lo que Andrew Ng hace en su curso Coursera ML. Puede consultar aquí cómo Andrew Ng usó 10 sigmoides para la clasificación multiclase (adaptado de Matlab a python por mí), y aquí está mi adaptación de softmax en python.

Además, vale la pena señalar que si bien las funciones son equivalentes (para el propósito de la clasificación multiclase) difieren un poco en su implementación (especialmente con respecto a sus derivados y cómo representar y).

Una gran ventaja de usar múltiples clasificaciones binarias (es decir, Sigmoides) sobre una sola clasificación multiclase (es decir, Softmax) es que si su softmax es demasiado grande (por ejemplo, si está utilizando una incrustación de una sola palabra de un tamaño de diccionario de 10K o más ) - puede ser ineficiente entrenarlo. En cambio, lo que puede hacer es tomar una pequeña parte de su conjunto de entrenamiento y usarlo para entrenar solo una pequeña parte de sus sigmoides. Esta es la idea principal detrás del muestreo negativo .