Los hiperplanos clasifican de manera óptima los datos cuando las entradas son condicionalmente independientes. ¿Por qué?

En el artículo titulado Deep Learning and the Information Bottleneck Principle, los autores declaran en la sección II A) lo siguiente:

Las neuronas individuales clasifican solo entradas separables linealmente, ya que pueden implementar solo hiperplanos en su espacio de entrada . Los hiperplanes pueden clasificar de manera óptima los datos cuando las entradas son indepen- dientemente condicionales.$u = wh+b$

Para mostrar esto, derivan lo siguiente. Usando el teorema de Bayes, obtienen:

(1)$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$

Donde es la entrada, y es la clase e y ' es la clase predicha (supongo, y ' no está definido). Continuando, afirman que:$x$$y$$y'$$y'$

(2)$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$

Donde es la dimensión de entrada yn no estoy seguro (nuevamente, ambos están indefinidos). Considerando una neurona sigmoidea, con la función de activación sigmoidea σ ( u ) = $N$$n$ y preactivaciónu, después de insertar (2) en (1) obtenemos los valores de peso óptimoswj=logp(xj|y$\sigma(u) = \frac{1}{1+exp(-u)}$$u$ yb=logp(y$w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ , cuando los valores de entradahj=np(xj).$b=log\frac{p(y)}{p(y')}$$h_j=np(x_j)$

Ahora a mis preguntas. Entiendo cómo insertar (2) en (1) conduce al peso óptimo y a los valores de entrada . Sin embargo, lo que no entiendo es lo siguiente:$w,b,h$

1. ¿Cómo se deriva (1) usando el teorema de Bayes?
2. ¿Cómo se deriva (2)? ¿Qué es ? ¿Cuál es el significado de eso? Supongo que tiene algo que ver con la independencia condicional.$n$
3. Incluso si las dimensiones de x son condicionalmente independientes, ¿cómo se puede afirmar que es igual a su probabilidad escalada? (es decir, ¿cómo puedes decir ?)$h_j=np(x_j)$

EDITAR: La variable es una variable de clase binaria. De esto supongo que y ′ es la clase "otra". Esto resolvería la pregunta 1. ¿Estás de acuerdo?$y$$y'$

Lamentamos los detalles que faltan en nuestro breve artículo, pero estas relaciones y conexiones entre la prueba de relación de probabilidad y las neuronas sigmoidales ciertamente no son nuevas, y se pueden encontrar en los libros de texto (por ejemplo, Bishop 2006). En nuestro artículo, 'N' es la dimensión de entrada y 'n' es el tamaño de la muestra de prueba (que en realidad se traduce en la SNR de entrada bajo el supuesto de que la SNR crece como sqrt (n)). La conexión a la función sigmoidal se realiza a través de la regla de Bayes, como la posterior de la clase. Nada en el resto del documento y nuestro artículo más nuevo y más importante de 2017 en realidad depende de esto.

Naftali Tishby

Para 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

$y_{i}$

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

y a partir de ahí es solo la propiedad del logaritmo para llegar a la forma final (debería estar lo suficientemente claro en este punto, avíseme si no).

Esta es una configuración de modelo en la que los autores están utilizando una forma especial del teorema de Bayes que se aplica cuando tiene una variable binaria de interés. Primero derivan esta forma especial del teorema de Bayes como Ecuación (1), y luego muestran que la condición en la Ecuación (2) los lleva a la forma lineal especificada para su red. Es importante tener en cuenta que la última ecuación no se deriva de condiciones anteriores, sino que es una condición para la forma lineal que están utilizando para su red.

---

$y$$y'$$Y$

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$$

$\mathbf{x} = (x_1,...,x_N)$$N$

$$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$$

Bajo esta condición, por lo tanto, obtenemos la forma posterior:

$$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$$

$n$$\mathbf{x}$$y$