Definición exacta de Maxout

He estado tratando de averiguar qué significa exactamente la función de activación "Maxout" en las redes neuronales. Existe esta pregunta, este documento e incluso en el libro Deep Learning de Bengio et al. , excepto con solo un poco de información y un gran TODO al lado.

Usaré la notación descrita aquí para mayor claridad. Simplemente no quiero volver a escribirlo y causar una gran cantidad de preguntas. Brevemente, , en otras palabras, una neurona tiene un solo sesgo , un solo peso para cada entrada, y luego suma las entradas por los pesos, luego agrega el sesgo y aplica la función de activación para obtener el valor de salida (también conocido como activación).$a^i_j=\sigma(z^i_j)=\sigma(\sum\limits_k a^{i-1}_kw^i_{jk}+b^i_j)$

Hasta ahora sé que Maxout es una función de activación que "genera el máximo de sus entradas". Qué significa eso? Aquí hay algunas ideas que podría interpretar a partir de eso:

1. $a^i_j=\max\limits_k (a^{i-1}_k)$ , también conocido como max-pooling.
2. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk})+b^i_j$ , simplemente reemplazando la suma que normalmente se hace con un máximo.
3. $a^i_j=\max\limits_k (a^{i-1}_kw^i_{jk}+b^i_{jk})$ , donde cada neurona ahora tiene un valor de sesgo para cada entrada, en lugar de un único valor de sesgo aplicado después de sumar todas las entradas. Esto haría que la propagación hacia atrás sea diferente, pero aún posible.
4. Cada $z^i_j$ se calcula como normal, y cada neurona tiene un solo sesgo y un peso para cada entrada. Sin embargo, similar a Softmax ( $a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$ ), esto se lleva el máximo de todos los $z$ 'es en su capa actual . Formalmente, $a^i_j=\max\limits_k z^i_k$ .

¿Alguno de estos es correcto? o es algo diferente?

Ninguna de las anteriores; Las redes maxout no siguen la arquitectura que asumiste.

Desde el comienzo de la sección "descripción de maxout" en el documento que vinculó , que definió maxout:

Dada una entrada ( puede ser , o puede ser el estado de una capa oculta), una capa oculta maxout implementa la función$x \in \mathbb{R}^d$$x$$v$

$$h_i = \max_{j \in [1, k]} z_{ij}$$

donde , y y son parámetros aprendidos$z_{ij} = x^T W_{ij} + b_{ij}$$W \in \mathbb{R}^{d \times m \times k}$$b ∈ R^{m \times k}$

Entonces, cada unidad de las unidades tiene combinaciones afines diferentes de la capa anterior, y genera el máximo de esas funciones afines. Imagine que cada capa está conectada a la capa anterior con conexiones de diferentes colores y tomando el máximo de los colores.$m$$k$$k$$k$

Alternativamente, puede pensar en una unidad maxout como en realidad dos capas: cada una de las unidades de la capa anterior está conectada a cada una de las unidades con la función de activación de identidad, y luego una sola unidad conecta esas unidades lineales con una activación de agrupación máxima .$k$$k$

Esto significa que la unidad, vista como una función desde hasta , es el máximo por partes de las funciones afines. La Figura 1 del documento da algunos ejemplos de diferentes funciones que podría parecer:$\mathbb R^d$$\mathbb R$

Cada una de las líneas discontinuas representa un . Puede representar cualquier función convexa de esta manera, lo cual es bastante bueno.$W^T x + b$