Suponga que quiero hacer una clasificación binaria (algo pertenece a la clase A o clase B). Hay algunas posibilidades para hacer esto en la capa de salida de una red neuronal:

• Use 1 nodo de salida. La salida 0 (<0.5) se considera clase A y 1 (> = 0.5) se considera clase B (en caso de sigmoide)

• Use 2 nodos de salida. La entrada pertenece a la clase del nodo con el valor / probabilidad más alto (argmax).

¿Hay documentos escritos que (también) discutan esto? ¿Cuáles son las palabras clave específicas para buscar?

Esta pregunta ya se hizo antes en este sitio, por ejemplo, vea este enlace sin respuestas reales. Necesito hacer una elección (Tesis de maestría), por lo que quiero obtener una idea de los pro / contras / limitaciones de cada solución.

En el segundo caso, probablemente esté escribiendo sobre la función de activación de softmax. Si eso es cierto, entonces el sigmoide es solo un caso especial de la función softmax. Eso es fácil de mostrar.

$$y = \frac{1}{1 + e ^ {-x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{e ^ x}{1 + e ^ x} = \frac{e ^ x}{e ^ 0 + e ^ x}$$

Como puede ver sigmoide es lo mismo que softmax. Puede pensar que tiene dos salidas, pero una de ellas tiene todos los pesos iguales a cero y, por lo tanto, su salida siempre será igual a cero.

Entonces, la mejor opción para la clasificación binaria es usar una unidad de salida con sigmoide en lugar de softmax con dos unidades de salida, porque se actualizará más rápido.

Los algoritmos de aprendizaje automático, como los clasificadores, modelan estadísticamente los datos de entrada, aquí, determinando las probabilidades de que la entrada pertenezca a diferentes categorías. Para un número arbitrario de clases, normalmente se agrega una capa softmax al modelo para que las salidas tengan propiedades probabilísticas por diseño:

$$\vec{y} = \text{softmax}(\vec{a}) \equiv \frac{1}{\sum_i{ e^{-a_i} }} \times [e^{-a_1}, e^{-a_2}, ...,e^{-a_n}]$$

$$0 \le y_i \le 1 \text{ for all i}$$ $$y_1 + y_2 + ... + y_n = 1$$

Aquí, es la activación de la capa antes de la capa softmax.$a$

Esto es perfectamente válido para dos clases, sin embargo, también se puede usar una neurona (en lugar de dos) dado que su salida satisface:

$$0 \le y \le 1 \text{ for all inputs.}$$ Esto se puede asegurar si se aplica una transformación (diferenciable / suave para fines de propagación hacia atrás) que mapea a modo que se cumpla la condición anterior. La función sigmoide cumple con nuestros criterios. No tiene nada de especial, aparte de una simple representación matemática,$a$$y$

$$\text{sigmoid}(a) \equiv \sigma(a) \equiv \frac{1}{1+e^{-a}}$$

propiedades matemáticas útiles (diferenciación, estar limitado entre 0 y 1, etc.), eficiencia computacional y tener la pendiente correcta de modo que la actualización de los pesos de la red tenga un cambio pequeño pero medible en la salida para fines de optimización.

Conclusión

No estoy seguro de si el razonamiento de @ itdxer que muestra softmax y sigmoide es equivalente si es válido, pero tiene razón al elegir 1 neurona en contraste con 2 neuronas para los clasificadores binarios, ya que se necesitan menos parámetros y cálculos. También me han criticado por usar dos neuronas para un clasificador binario ya que "es superfluo".