La motivación unidades de salida sigmoideas en redes neuronales que empiezan con probabilidades de registro unnormalized lineal en y

Antecedentes: estoy estudiando el capítulo 6 de Aprendizaje profundo de Ian Goodfellow y Yoshua Bengio y Aaron Courville. En la sección 6.2.2.2 (páginas 182 de 183 que se pueden ver aquí $P(y=1|x)$ se motiva el uso de sigmoide para generar P (y = 1 | x) .

Para resumir parte del material, dejan que

$$z = w^Th+b$$ sea ​​una neurona de salida antes de que se aplique una activación donde $h$ es la salida de la capa oculta anterior, $w$ es un vector de pesos $b$ es un sesgo escalar. El vector de entrada se denota $x$ (que $h$ es una función de) y el valor de salida se denota $y=\phi(z)$ donde $\phi$ es la función sigmoide. El libro desea definir una distribución de probabilidad sobre $y$ usando el valor $z$ . Del segundo párrafo de la página 183:

Omitimos la dependencia de $x$ por el momento para discutir cómo definir una distribución de probabilidad sobre $y$ usando el valor $z$ . El sigmoide puede ser motivado construyendo una distribución de probabilidad no normalizada $\tilde P(y)$ , que no suma 1. Podemos entonces dividir por una constante apropiada para obtener una distribución de probabilidad válida. Si comenzamos con el supuesto de que las probabilidades logarítmicas no normalizadas son lineales en $y$ y $z$ , podemos exponer para obtener las probabilidades no normalizadas. Luego nos normalizamos para ver que esto produce una distribución de Bernoulli controlada por una transformación sigmoidal de z:

$$\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$$

Preguntas: Estoy confundido acerca de dos cosas, particularmente la primera:

1. ¿De dónde viene la suposición inicial? ¿Por qué la probabilidad logarítmica no normalizada es lineal en $y$ y $z$ ? ¿Alguien puede darme una idea de cómo los autores comenzaron con $\log\tilde P(y) = yz$ ?
2. ¿Cómo sigue la última línea?

Hay dos resultados posibles para . Es muy importante, porque esta propiedad cambia el significado de la multiplicación. Hay dos casos posibles:$y \in \{0, 1\}$

$$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$$

Además, es importante notar que la probabilidad logarítmica no normalizada para es constante. Esta propiedad deriva de la suposición principal. La aplicación de cualquier función determinista al valor constante producirá una salida constante. Esta propiedad simplificará la fórmula final cuando haremos la normalización sobre todas las probabilidades posibles, porque solo necesitamos saber la probabilidad no normalizada para y para siempre es constante. Y dado que la salida de la red tiene una probabilidad logarítmica no normalizada, solo necesitaremos una salida, porque se supone que otra es constante.y = 1 y = $y=0$$y=1$$y=0$

A continuación, estamos aplicando exponenciación a la probabilidad de logaritmo no normalizado para obtener una probabilidad no normalizada.

$$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$$

A continuación, simplemente normalizamos las probabilidades dividiendo cada probabilidad no normalizada por la suma de todas las probabilidades posibles no normalizadas.

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$$

Solo nos interesa , porque eso es lo que significa la probabilidad de la función sigmoidea. La función obtenida no parece sigmoidea en el primer vistazo, pero son iguales y es fácil de mostrar.$P(y=1)$

$$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$$

La última declaración puede ser confusa al principio, pero es solo una forma de mostrar que esa función de probabilidad final es sigmoidea. El valor convierte a y a (o podemos decir que sería sin cambio).$(2y−1)$$0$$-1$$1$$1$

$$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$$

Como podemos ver, es solo la forma de mostrar la relación entre y$\sigma$$P(y)$

También encuentro que este fragmento del libro es difícil de seguir, y la respuesta anterior de itdxer merece bastante tiempo para ser comprendida también por alguien que no domina adecuadamente las probabilidades y el pensamiento matemático. Sin embargo, lo logré leyendo la respuesta al revés, así que comienza con el sigmoide de z

$$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$$

e intenta seguir de nuevo a.

$$\begin{align} \log\tilde P(y) &= yz \end{align}$$

Entonces tiene sentido por qué comenzaron la explicación con yz: es por diseño, igual que el final

$$\begin{align} \sigma((2y-1)z) \end{align}$$

por construcción permite obtener -1 para y = 0 y 1 para y = 1, que son los únicos valores posibles de y bajo el Bernoulli.

Aquí hay una redacción más formal que atraerá a aquellos con antecedentes teóricos de la medida.

Deje que sea ​​un Bernoulli rv y deje que denote la medida de avance, es decir, para , y deje que denote su contraparte no normalizada.$Y$$P_Y$$y\in \{0,1\}$$P_Y(y)=P(Y=y)$$\tilde P_Y$

Tenemos la siguiente cadena de implicaciones:

$$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$$

La última igualdad es una forma inteligente de mapear a{ - 1 , 1 $\{0,1\}$$\{-1,1\}$