¿Por qué las redes neuronales se engañan fácilmente?

He leído algunos documentos sobre la creación manual de imágenes para "engañar" a una red neuronal (ver más abajo).

¿Es esto porque las redes solo modelan la probabilidad condicional ? Si una red puede modelar la probabilidad conjunta , ¿seguirán ocurriendo estos casos?$p(y|x)$
$p(y,x)$

Supongo que tales imágenes generadas artificialmente son diferentes de los datos de entrenamiento, por lo que son de baja probabilidad . Por lo tanto, debería ser bajo incluso si puede ser alto para tales imágenes.$p(x)$$p(y,x)$$p(y|x)$

Actualizar

He probado algunos modelos generativos, resultó no ser útil, así que supongo que probablemente esto sea una consecuencia de MLE.

Quiero decir, en el caso de que la divergencia KL se use como la función de pérdida, el valor de donde es pequeño no afecta la pérdida. Entonces, para una imagen artificial que no coincide con , el valor de puede ser arbitrario.$p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

Actualizar

Encontré un blog de Andrej Karpathy que muestra

Estos resultados no son específicos de las imágenes, ConvNets, y tampoco son un "defecto" en Deep Learning.

EXPLICANDO Y APROVECHANDO EJEMPLOS ADVERSARIOS Las redes neuronales profundas se engañan fácilmente: predicciones de alta confianza para imágenes irreconocibles

El tipo de modelos a los que se refiere se denominan modelos 'generativos' en lugar de discriminatorios, y en realidad no se escalan a datos de alta dimensión. Parte del éxito de NN en las tareas de lenguaje es el cambio de un modelo generativo (HMM) a un modelo 'más' discriminatorio (por ejemplo, MEMM usa regresión logística que permite que los datos contextuales se utilicen de manera efectiva https://en.wikipedia.org/ wiki / Hidden_Markov_model # Extensiones )

Yo diría que la razón por la que se engañan es un problema más general. Es el dominio actual de la IA "superficial" impulsada por ML sobre métodos más sofisticados. [en muchos de los documentos se menciona que otros modelos de ML también se engañan fácilmente - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow]

El "modelo de lenguaje" más eficaz para muchas tareas es la "bolsa de palabras". Nadie afirmaría que esto representa un modelo significativo del lenguaje humano. No es difícil imaginar que este tipo de modelos también se engañen fácilmente.

Del mismo modo, las tareas de visión por computadora, como el reconocimiento de objetos, fueron revolucionadas por la 'bolsa visual de palabras' que eliminó los métodos más intensivos en computación (que no podían aplicarse a conjuntos de datos masivos).

CNN: diría que es una mejor 'bolsa visual de palabras': como muestra en sus imágenes, los errores se cometen en las funciones de nivel de píxel / nivel bajo; a pesar de toda la hipérbole, no hay una representación de alto nivel en las capas ocultas (todos cometen errores, el punto es que una persona cometería "errores" debido a características de nivel superior y, por ejemplo, reconocería una caricatura de un gato, lo cual no hago) No creo que un NN lo haría).

Un ejemplo de un modelo más sofisticado de visión por computadora (que funciona peor que NN) es, por ejemplo, el modelo de 'partes deformables'.

Hasta donde yo sé, la mayoría de las redes neuronales no utilizan una distribución de probabilidad a priori sobre las imágenes de entrada. Sin embargo, podría interpretar que la selección del conjunto de entrenamiento es una distribución de probabilidad. En esa vista, es poco probable que estas imágenes generadas artificialmente se seleccionen como imágenes en el conjunto de prueba. Una forma de medir la 'probabilidad conjunta' sería generar imágenes al azar y luego etiquetarlas. El problema sería que la gran mayoría, VAST, no tendría etiqueta. Por lo tanto, obtener un número razonable de ejemplos etiquetados llevaría demasiado tiempo.