¿Cómo calcular el número de características en función de la resolución de la imagen?

Recién cubrí la hipótesis no lineal de Andrew Neg de Netowrks neuronales, y teníamos una pregunta de opción múltiple para determinar el número de características para una imagen de resolución 100x100 de intensidades de grescale .

Y la respuesta fue 50 millones, $5$ x $10^7$

Sin embargo, antes para una imagen de escala de grises de 50 x 50 píxeles. la cantidad de funciones es 50x50 (2500)

¿Por qué sería $5$ x $10^7$ lugar de $10,000$ ?

Sin embargo, dice que incluye todos los términos cuadráticos ( $x_ix_j$ ) como características

Suponga que está aprendiendo a reconocer automóviles a partir de imágenes de 100 × 100 píxeles (escala de grises, no RGB). Deje que las características sean valores de intensidad de píxeles. Si entrena la regresión logística que incluye todos los términos cuadráticos ( ) como características, ¿aproximadamente cuántas características tendrá?$x_ix_j$

y en la diapositiva anterior con respecto al 100x100, que las características cuadráticas ( x x j ) = 3 millones de características, pero todavía no puedo señalar la conexión.$x_i$$x_j$

Quizás un caso más simple aclarará las cosas. Digamos que elegimos una muestra de píxeles 1x2 en lugar de 100x100.

Píxeles de muestra de la imagen

+----+----+
| x1 | x2 |
+----+----+

Imagine que al trazar nuestro conjunto de entrenamiento, nos dimos cuenta de que no se puede separar fácilmente con un modelo lineal, por lo que elegimos agregar términos polinómicos para que se ajusten mejor a los datos.

Digamos que decidimos construir nuestros polinomios al incluir todas las intensidades de píxeles y todos los múltiplos posibles que se pueden formar a partir de ellos.

Como nuestra matriz es pequeña, enumeremoslas:

Al interpretar la secuencia de características anterior, se puede ver que hay un patrón. Los primeros dos términos, grupo 1, son características que consisten solo en su intensidad de píxeles. Los siguientes dos términos, grupo 2, son características que consisten en el cuadrado de su intensidad. Los dos últimos términos, grupo 3, son el producto de todas las combinaciones de intensidades de píxeles por pares (dos).

grupo 1: $x_1,\ x_2$

grupo 2: $x_1^2,\ x_2^2$

grupo 3: $x_1 \times x_2,\ x_2 \times x_1$

Pero espera, hay un problema. Si observa los términos del grupo 3 en la secuencia ( y x 2 × x 1 ) notará que son iguales. Recuerda nuestro ejemplo de vivienda. Imagina tener dos características x1 = pies cuadrados, y x2 = pies cuadrados, para la misma casa ... ¡Eso no tiene ningún sentido! Ok, entonces necesitamos deshacernos de la función duplicada, digamos arbitrariamente x 2 × x $x_1 \times x_2$$x_2 \times x_1$$x_2 \times x_1$ . Ahora podemos reescribir la lista de características del grupo tres como:

grupo 3: $x_1 \times x_2$

Contamos las características en los tres grupos y obtenemos 5.

Pero este es un ejemplo de juguete. Vamos a derivar una fórmula genérica para calcular el número de características. Usemos nuestros grupos originales de características como punto de partida.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ah! Pero tuvimos que deshacernos del producto duplicado en el grupo 3.

$C(m \times n, 2)$

Entonces nuestra fórmula genérica sería:

Vamos a usarlo para calcular la cantidad de características en nuestro ejemplo de juguete:

¡Eso es!

Si está utilizando todas las características lineales y cuadráticas, se supone que el número total es:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

La idea de ($x^2$) / 2 también podría funcionar para obtener las características cuadráticas. Entonces, si n = 2500, entonces sabemos que x (i) = 2500 y la sustitución de x en la fórmula dará 50 millones

@whuber 50 millones viene cuando tienes una imagen de 100 * 100 píxeles. donde cuadrado (100 * 100) = 100000000 (10 millones) y cuadrado (100 * 100) / 2 = 5 millones. Espero que esto responda.