¿La inteligencia artificial es vulnerable a la piratería?

27

El documento Las limitaciones del aprendizaje profundo en entornos adversos explora cómo las redes neuronales pueden ser corrompidas por un atacante que puede manipular el conjunto de datos con el que se entrena la red neuronal. Los autores experimentan con una red neuronal destinada a leer dígitos escritos a mano, lo que socava su capacidad de lectura al distorsionar las muestras de dígitos escritos a mano con los que se entrena la red neuronal.

Me preocupa que los actores maliciosos puedan intentar piratear la IA. Por ejemplo

  • Engañar a los vehículos autónomos para malinterpretar las señales de alto frente al límite de velocidad.
  • Sin pasar por el reconocimiento facial, como los de ATM.
  • Sin pasar por los filtros de spam.
  • Análisis de sentimientos engañosos de críticas de películas, hoteles, etc.
  • Sin pasar por los motores de detección de anomalías.
  • Falsificando comandos de voz.
  • Clasificación errónea del aprendizaje automático basado en predicciones médicas.

¿Qué efecto adversario podría perturbar el mundo? ¿Cómo podemos prevenirlo?

Surya Sg
fuente
66
Considere que la inteligencia humana es vulnerable a la piratería
Gaius
Interesante. ¿Está interesado en los "modelos de riesgo de configuraciones adversas" o en algo más cercano a una respuesta de seguridad cibernética tradicional, pero que todavía tiene que ver con la IA? Los mejores deseos.
Revelaciones

Respuestas:

19

La IA es vulnerable desde dos perspectivas de seguridad tal como lo veo:

  1. El método clásico de explotar errores programáticos directos para lograr algún tipo de ejecución de código en la máquina que ejecuta la IA o para extraer datos.

  2. Truco a través del equivalente de las ilusiones ópticas de AI para la forma particular de datos con la que el sistema está diseñado para tratar.

El primero tiene que ser mitigado de la misma manera que cualquier otro software. No estoy seguro de si la IA es más vulnerable en este frente que otro software, me inclinaría a pensar que la complejidad puede aumentar ligeramente el riesgo.

El segundo es probablemente mejor mitigado tanto por el refinamiento cuidadoso del sistema como se señala en algunas de las otras respuestas, sino también por hacer que el sistema sea más sensible al contexto; Muchas técnicas de confrontación dependen de la entrada que se evalúa en el vacío.

Christopher Griffith
fuente
1
La división entre vulnerabilidades de código y vulnerabilidades de uso es buena. Sin embargo, las vulnerabilidades del código generalmente son minúsculas en la IA. La complejidad de la IA radica en los datos, ya sean pesos de nodos en una red neuronal o árboles en un bosque aleatorio. Solo hay una pequeña porción de código para alimentar la IA, y el principal riesgo es que no se sobrealimente: un riesgo clásico de desbordamiento del búfer, mitigado fácilmente por las técnicas de finales del siglo XX.
MSalters
@MSalters Creo que es difícil llegar a una conclusión general porque la complejidad del código puede variar mucho entre los diferentes tipos de agentes de IA (creo que su comentario es en gran medida exacto para las redes neuronales). Además, aunque los datos y la manipulación de los mismos son probablemente la superficie de ataque más grande, no sería prudente descartar el mismo tipo de ataques que han permitido la ejecución remota de código a través de archivos de imagen comprometidos en el pasado que explotaron fallas en las aplicaciones de visualización de imágenes. El vector son los datos que se pasan, pero el comportamiento aún se encuentra bajo el encabezado de vulnerabilidad de código, creo.
Christopher Griffith
7

Programador vs Programador

Es una "guerra infinita": programadores contra programadores. Todo puede ser pirateable. La prevención está vinculada al nivel de conocimiento del profesional a cargo de la seguridad y los programadores en seguridad de aplicaciones.

Por ejemplo, hay varias formas de identificar a un usuario que intenta confundir las métricas generadas por el Análisis de opiniones, pero también hay formas de eludir esos pasos. Es una pelea bastante aburrida.

Agente contra agente

Un punto interesante que planteó @DukeZhou es la evolución de esta guerra, que involucra dos inteligencia artificial (agentes). En ese caso, la batalla es una de las más informadas. ¿Cuál es el modelo mejor entrenado?

Sin embargo, para lograr la perfección en el tema de la vulnerabilidad, la inteligencia artificial o la súper inteligencia artificial superan la capacidad de eludir al ser humano. Es como si el conocimiento de todos los piratas informáticos hasta el día de hoy ya existiera en la mente de este agente y comenzó a desarrollar nuevas formas de eludir su propio sistema y desarrollar protección. Complejo, ¿verdad?

Creo que es difícil tener una IA que piense: "¿Va a usar el humano una foto en lugar de poner su rostro para ser identificado?"

¿Cómo podemos prevenirlo?

Siempre teniendo un ser humano supervisando la máquina y, sin embargo, no será 100% efectiva. Sin tener en cuenta la posibilidad de que un agente pueda mejorar su propio modelo solo.

Conclusión

Entonces, creo que el escenario funciona de esta manera: un programador intenta evadir las validaciones de una IA y el desarrollador de IA que adquiere conocimiento a través de registros y pruebas intenta construir un modelo más inteligente y seguro que intenta reducir las posibilidades de falla.

Guilherme IA
fuente
3
Gran respuesta. (OMI, debería ser la respuesta aceptada, pero debe proporcionar algún tipo de soporte o enlaces). Independientemente, su lógica es correcta, aunque creo que esto comenzará a extenderse más allá del Programador frente al Programador frente al Agente a medida que los nuevos algoritmos aumenten. sofisticación, y emprender estas estrategias sin necesidad humana.
DukeZhou
1
¡Actualizado! Buen punto @DukeZhou
Guilherme IA
6

¿Cómo podemos prevenirlo?

Hay varios trabajos sobre la verificación de IA. Los verificadores automáticos pueden demostrar las propiedades de robustez de las redes neuronales. Significa que si la entrada X del NN está perturbada no más que en un límite dado ε (en alguna métrica, por ejemplo, L2), entonces el NN da la misma respuesta.

Dichos verificadores son realizados por:

Este enfoque puede ayudar a verificar las propiedades de robustez de las redes neuronales. El siguiente paso es construir una red neuronal de este tipo, que ha requerido robustez. Algunos de los documentos anteriores también contienen métodos para hacerlo.

Existen diferentes técnicas para mejorar la robustez de las redes neuronales:

Al menos el último puede hacer que NN sea más robusto. Más literatura se puede encontrar aquí .

Ilya Palachev
fuente
2
Esto suena como una afirmación imposible ... a menos que se trate de algunas entradas particulares X, en lugar de entradas generales X? En cuyo caso, parece no decir casi nada acerca de la piratería, ya que las entradas no necesitan limitarse a las perturbaciones de aquellos en la capacitación.
Mehrdad
1
@Mehrdad: Probablemente se pueda lograr en un sentido probabilístico si el espacio de entrada está suficientemente estructurado para que pueda muestrearlo aleatoriamente. Es decir, probablemente pueda establecer que para el 95% de las entradas posibles, el 95% de las perturbaciones menores que ε no afectan la etiqueta de la clase. Esto es equivalente a establecer que el borde entre las clases de salida en el espacio de entrada es uniforme, o que la mayor parte del espacio de entrada no se encuentra cerca de un borde de clase. Obviamente, una parte del espacio de entrada tiene que estar cerca de un borde de clase.
MSalters
No estoy seguro de que esto se aplique en el caso "adversario" descrito en el documento: allí, (IIRC) se agrega un gradiente propagado hacia atrás a toda la imagen, por lo que el cambio en la entrada completa puede ser bastante grande, incluso si El cambio para cada píxel individual apenas se nota.
Niki
@MSalters: Supongo que sí. Pero eso parece devaluarlo un poco, a menos que pueda mostrar las imágenes que están en un borde de clase en realidad debería estar en un borde de clase ...
Mehrdad
La oración "El siguiente paso es construir una red neuronal de este tipo, que ha requerido robustez" está bajo investigación. En general, es muy difícil deshacerse del problema de no robustez de NN. Pero es posible mejorar la robustez mediante entrenamiento contradictorio (ver, por ejemplo, A. Kurakin et al., ICLR 2017 ), destilación defensiva (ver, por ejemplo, N. Papernot et al., SSP 2016 ), defensa MMSTV ( Maudry et al., ICLR 2018 ) Al menos el último puede hacer que NN sea más robusto.
Ilya Palachev
4

Creo que es así, ningún sistema es seguro, sin embargo, no estoy seguro de si aún puedo decir esto después de 20-30 años de desarrollo / evolución de IA. De todos modos, hay artículos que muestran a los humanos engañando a la IA (Computer Vision).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

Akio
fuente
4

¿Es la inteligencia artificial vulnerable a la piratería?

Invierta su pregunta por un momento y piense:

¿Qué haría que la IA tenga menos riesgo de piratería en comparación con cualquier otro tipo de software?

Al final del día, el software es software y siempre habrá errores y problemas de seguridad. Las IA están en riesgo de todos los problemas a los que no está en peligro el software que no es de IA, ya que la IA no le otorga algún tipo de inmunidad.

En cuanto a la manipulación específica de AI, AI está en riesgo de recibir información falsa. A diferencia de la mayoría de los programas, la funcionalidad de AI está determinada por los datos que consume.

Para un ejemplo del mundo real, hace unos años Microsoft creó un chatbot de IA llamado Tay. La gente de Twitter tardó menos de 24 horas en enseñarle a decir "Vamos a construir un muro, y México lo va a pagar":

Vamos a construir un muro, y México lo va a pagar

(Imagen tomada del artículo de Verge vinculado a continuación, no reclamo ningún crédito por ello).

Y eso es solo la punta del iceberg.

Algunos artículos sobre Tay:

Ahora imagine que no era un bot de chat, imagine que era una pieza importante de inteligencia artificial de un futuro en el que la inteligencia artificial está a cargo de cosas como no matar a los ocupantes de un automóvil (es decir, un automóvil autónomo) o no matar a un paciente en la mesa de operaciones (es decir, algún tipo de equipo de asistencia médica).

De acuerdo, uno esperaría que tales IAs estuvieran mejor protegidas contra tales amenazas, pero suponiendo que alguien encontrara una manera de alimentar tales masas de IA de información falsa sin ser notado (después de todo, los mejores piratas informáticos no dejan rastro), eso realmente podría significar La diferencia entre la vida y la muerte.

Utilizando el ejemplo de un automóvil sin conductor, imagine si los datos falsos pueden hacer que el automóvil piense que debe hacer una parada de emergencia cuando está en una autopista. Una de las aplicaciones para la IA médica es la decisión de vida o muerte en la sala de emergencias, imagínese si un pirata informático podría inclinar la balanza a favor de la decisión equivocada.

¿Cómo podemos prevenirlo?

En última instancia, la escala del riesgo depende de cuán dependientes sean los humanos de la IA. Por ejemplo, si los humanos juzgaran a una IA y nunca la cuestionaran, se estarían abriendo a todo tipo de manipulaciones. Sin embargo, si usan el análisis de la IA como solo una parte del rompecabezas, sería más fácil detectar cuándo una IA está equivocada, ya sea por medios accidentales o maliciosos.

En el caso de un tomador de decisiones médicas, no solo crea en la IA, realice pruebas físicas y obtenga algunas opiniones humanas también. Si dos médicos no están de acuerdo con la IA, descarte el diagnóstico de la IA.

En el caso de un automóvil, una posibilidad es tener varios sistemas redundantes que esencialmente deben 'votar' sobre qué hacer. Si un automóvil tuviera múltiples AI en sistemas separados que deben votar sobre qué acción tomar, un pirata informático tendría que eliminar más de una IA para obtener el control o causar un punto muerto. Es importante destacar que si las IA se ejecutan en diferentes sistemas, la misma explotación utilizada en uno no se podría hacer en otro, aumentando aún más la carga de trabajo del hacker.

Pharap
fuente
1
Me gusta la idea de tener varios sistemas de IA separados que tengan que llegar a un acuerdo como técnica de mitigación. Aunque entonces tendrías que estar seguro de que el mecanismo de votación que usaron no podría componerse para fingir una decisión.
Christopher Griffith
@ChristopherGriffith Cierto, eso es un riesgo. En el caso del automóvil, la mejor manera de mitigar eso es diseñar el sistema para que un atacante necesite acceso físico para manipularlo y dificultar su acceso, de modo que la persona tenga que ingresar al automóvil para acceder. Mantener un sistema fuera de línea es generalmente una buena contramedida de piratería, aunque no siempre es ideal.
Pharap
1

Estoy de acuerdo con Akio en que ningún sistema es completamente seguro, pero la conclusión es que los sistemas de IA son menos propensos a los ataques cuando se comparan con los sistemas antiguos debido a la capacidad de mejorar constantemente.

A medida que pasa el tiempo, más personas entrarán en el campo aportando nuevas ideas y hardware mejorará para que sean "IA fuerte".

Simbarashe Timothy Motsi
fuente
1

¿La inteligencia artificial es vulnerable a la piratería?

insinuación; si dices que la IA es vulnerable, entonces no estoy de acuerdo contigo en tal declaración. La inteligencia artificial se divide en tres categorías ni fases por las que se supone que debemos pasar, es decir.

  • inteligencia artificial estrecha

  • inteligencia general artificial

  • súper inteligencia artificial

Por lo tanto, de acuerdo con su declaración; "Me preocupa que los actores maliciosos puedan intentar piratear la IA ....."

dado por los ejemplos en el cuerpo de su mensaje, estamos en el nivel de inteligencia artificial estrecha, donde un pirata informático humano puede torcer su código malicioso para invadir dichas aplicaciones, en este nivel. Sin embargo, si saltamos directamente al nivel final de Artificial Inteligencia; entonces, por supuesto, un ser humano no puede invadir ni hackear un programa de software súper inteligente o un agente súper inteligente de alta tecnología. Por ejemplo; un hacker humano, hace una cosa a la vez, no hay nada que impida que una inteligencia artificial divida su enfoque y haga mucho personal simultáneamente, esto es difícil de adivinar una mente que funciona con precisión de esa manera

para tu información

no te dejes llevar por lo que los medios de comunicación dicen sobre la IA en general, simplemente porque; no saben que sucederá algo importante que son las nuevas especies que compiten con los humanos

imagínese viviendo en una nueva sociedad que es de alta tecnología. Echa un vistazo al gran desafío cibernético

Si te perdiste ese evento, lo siento.

quintumnia
fuente
Me imagino que incluso en un mundo con creaciones artificialmente súper inteligentes, todavía habrá formas de piratear estos sistemas utilizando herramientas altamente especializadas que simplemente pueden superar a los sistemas de IA generalizados en tareas específicas.
krowe2
1

La inteligencia de cualquier tipo es vulnerable a la piratería, ya sea basada en ADN o artificial. Primero, definamos la piratería. En este contexto, la piratería es la explotación de las debilidades para obtener fines específicos que pueden incluir el estado, la ganancia financiera, la interrupción de los negocios o el gobierno, la información que se puede utilizar para la extorsión, la ventaja en un acuerdo comercial o elección, o alguna otra forma de control o manipulación.

Aquí hay ejemplos de estrategias para hackear el cerebro y sus objetivos comunes. Cada uno de estos tiene un sistema digital equivalente.

  • Propaganda gubernamental: cumplimiento previsible
  • Estafas - dinero
  • Spoofing - reacción pública humorística
  • Juego de rol: gane confianza para obtener acceso o manipular
  • Centros de dolor: explotar la adicción para aumentar los ingresos

Algunos están preocupados por lo que se ha llamado The Singularity, donde las entidades de software inteligentes pueden piratear a los humanos y sus estructuras sociales para obtener sus propios fines. Que los humanos puedan hackear los agentes inteligentes de otros humanos es otra posibilidad obvia. No creo que los datos de entrenamiento sean el único punto de ataque.

  • Las matrices de parámetros se pueden sobrescribir de una manera que es difícil de detectar.
  • Las señales de refuerzo pueden ser manipuladas.
  • Se pueden aprovechar los bolsillos de error conocidos en las permutaciones de entrada.
  • La naturaleza determinista de los sistemas digitales puede ser explotada por otros estudiantes profundos al duplicar el sistema capacitado y buscar puntos de vulnerabilidad fuera de línea antes de ejecutarlos en una red

Las posibilidades enumeradas en la pregunta merecen consideración, pero esta es mi versión de la lista.

  • Asesinato por mal funcionamiento AV o sistemas de identificación de falsificación en farmacias u hospitales
  • Desvío de grandes cantidades de productos enviados a un destinatario que no pagó por ellos
  • Genocidio social al marginar a grupos específicos de individuos

La única forma de prevenirlo es esperar un evento de extinción global, pero puede haber formas de mitigarlo. Así como el programa satanás fue escrito para encontrar vulnerabilidades en los sistemas UNIX, los sistemas inteligentes pueden idearse para encontrar vulnerabilidades en otros sistemas inteligentes. Por supuesto, así como los modelos de programación y los sistemas de información convencionales pueden diseñarse teniendo en cuenta la seguridad, reduciendo las vulnerabilidades en la medida razonablemente posible desde el primer día, los sistemas de inteligencia artificial pueden diseñarse con ese objetivo en mente.

Si sigue la ruta de información de cualquier sistema y considera las formas de leer o escribir la señal en cualquier punto a lo largo de la ruta, puede protegerse preventivamente contra esos puntos de acceso. Claramente, tener cuidado al adquirir datos para usar en la capacitación es clave en el caso mencionado en esta pregunta, y se necesita un cifrado adecuado a lo largo de las vías de información, junto con garantizar que no se otorgue acceso físico a personal no autorizado, pero preveo batallas entre medidas y contramedidas que surgen de estas preocupaciones y oportunidades.

Douglas Daseeco
fuente
0

Hay muchas formas de hackear una IA. Cuando era niño descubrí cómo vencer a una computadora de ajedrez. Siempre seguí el mismo patrón, una vez que aprendes puedes explotarlo. El mejor hacker del mundo es un niño de 4 años que quiere algo, probará cosas diferentes hasta que establezca un patrón en sus padres. De todos modos, obtenga un Ai para aprender los patrones de una IA y, dada una combinación determinada, puede calcular el resultado. También hay fallas simples o puertas traseras en el código, ya sea a propósito o por casualidad. También existe la posibilidad de que la IA se piratee a sí misma. Se llama portarse mal, recuerda al niño pequeño otra vez ...

Por cierto, la manera simple es hacer que la IA siempre sea segura ... algo que la gente olvida.

Tony Lester
fuente