¿Cómo se deriva la unidad softmax y cuál es la implicación?

Estoy tratando de entender por qué la función softmax se define como tal:

$\frac{e^{z_{j}}} {\Sigma^{K}_{k=1}{e^{z_{k}}}} = \sigma(z)$

Entiendo cómo esto normaliza los datos y se asigna correctamente a algún rango (0, 1), pero la diferencia entre las probabilidades de peso varía exponencialmente en lugar de linealmente. ¿Hay alguna razón por la que queremos este comportamiento?

Además, esta ecuación parece bastante arbitraria y creo que una gran familia de ecuaciones podría satisfacer nuestros requisitos. No he visto ninguna derivación en línea, así que supongo que es simplemente una definición. ¿Por qué no elegir cualquier otra definición que satisfaga los mismos requisitos?

La distribución categórica es la distribución mínima supuesta sobre el soporte de "un conjunto finito de resultados mutuamente excluyentes" dada la estadística suficiente de "qué resultado sucedió". En otras palabras, usar cualquier otra distribución sería una suposición adicional. Sin ningún conocimiento previo, debe asumir una distribución categórica para este soporte y una estadística suficiente. Es una familia exponencial. (Todas las distribuciones supuestas mínimas para un soporte dado y estadística suficiente son familias exponenciales).

La forma correcta de combinar dos creencias basadas en información independiente es el producto puntual de las densidades, asegurándose de no contar dos veces la información previa que se encuentra en ambas creencias. Para una familia exponencial, esta combinación es la suma de parámetros naturales.

Los parámetros de expectativa son los valores esperados de $x_k$ dónde $x_k$ son la cantidad de veces que observaste el resultado $k$. Esta es la parametrización correcta para convertir un conjunto de observaciones a una distribución de máxima verosimilitud. Simplemente promedia en este espacio. Esto es lo que quieres cuando modelas observaciones.

La función logística multinomial es la conversión de parámetros naturales a parámetros de expectativa de la distribución categórica. Puede derivar esta conversión como el gradiente del log-normalizador con respecto a los parámetros naturales.

En resumen, la función logística multinomial se cae de tres supuestos: un soporte, una estadística suficiente y un modelo cuya creencia es una combinación de datos independientes.

Sé que esta es una publicación tardía, pero creo que todavía sería valioso proporcionar alguna justificación para aquellos que aterrizan aquí.

No estás completamente equivocado. Es arbitrario hasta cierto punto, pero quizás arbitrario es la palabra incorrecta. Es más como una elección de diseño. Dejame explicar.

Resulta que Softmax es en realidad la generalización de la función Sigmoide, que es una unidad de salida de Bernoulli (salida 0 o 1):

$\begin{equation} [1+\text{exp}(-z)]^{-1} \end{equation}$

Pero de dónde viene la función Sigmoide, puede preguntar.

Bueno, resulta que muchas distribuciones de probabilidad diferentes, incluidas la distribución de Bernoulli, Poisson, gaussiana, etc., siguen algo llamado Modelo Lineal Generalizado (GLM). Es decir, se pueden expresar en términos de:

$\begin{equation} P(y;\eta) = b(y)\text{exp}[\eta^TT(y) - a(\eta)] \end{equation}$

No cubriré cuáles son todos estos parámetros, pero ciertamente puede investigar esto.

Observe el siguiente ejemplo de cómo una distribución de Bernoulli está en la familia GLM:

$P(y=1) = \phi\\ P(y=0) = 1 - \phi\\ P(y) = \phi^y(1-\phi)^{1-y} = \text{exp}(y\text{log}(\phi) + (1-y)\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\phi) + \text{log}(1-\phi)-y\text{log}(1-\phi))\\ = \text{exp}(y\text{log}(\frac{\phi}{1-\phi}) + \text{log}(1-\phi))$

Puedes ver que en este caso,

$b(y) = 1\\ T(y) = y\\ \eta = \text{log}(\frac{\phi}{1-\phi})\\ a(\eta) = -\text{log}(1-\phi)$

Note lo que sucede cuando resolvemos $\phi$ en términos de $\eta$:

$\eta = \text{log}(\frac{\phi}{1-\phi})\\ e^\eta =\frac{\phi}{1-\phi}\\ e^{-\eta} = \frac{1-\phi}{\phi} = \frac{1}{\phi}-1\\ e^{-\eta}+1 = \frac{1}{\phi}\\ \phi = [\text{exp}(-{\eta})+1]^{-1}$

Entonces para conseguir $\phi=P(y=1)$, tomamos el sigmoide de $\eta$. La elección del diseño entra en juego cuando asumimos que$\eta = w^Tx$, dónde $w$ son sus pesos y $x$ son sus datos, los cuales suponemos que son $\in\mathbb{R}^n$. Al hacer esta suposición, podemos encajar$w$ para aproximar $\phi$.

Si tuviera que pasar por este mismo proceso para una distribución Multinoulli, terminaría derivando la función softmax.