El documento Las limitaciones del aprendizaje profundo en entornos adversos explora cómo las redes neuronales pueden ser corrompidas por un atacante que puede manipular el conjunto de datos con el que se entrena la red neuronal. Los autores experimentan con una red neuronal destinada a leer dígitos escritos a mano, lo que socava su capacidad de lectura al distorsionar las muestras de dígitos escritos a mano con los que se entrena la red neuronal.
Me preocupa que los actores maliciosos puedan intentar piratear la IA. Por ejemplo
- Engañar a los vehículos autónomos para malinterpretar las señales de alto frente al límite de velocidad.
- Sin pasar por el reconocimiento facial, como los de ATM.
- Sin pasar por los filtros de spam.
- Análisis de sentimientos engañosos de críticas de películas, hoteles, etc.
- Sin pasar por los motores de detección de anomalías.
- Falsificando comandos de voz.
- Clasificación errónea del aprendizaje automático basado en predicciones médicas.
¿Qué efecto adversario podría perturbar el mundo? ¿Cómo podemos prevenirlo?
Respuestas:
La IA es vulnerable desde dos perspectivas de seguridad tal como lo veo:
El método clásico de explotar errores programáticos directos para lograr algún tipo de ejecución de código en la máquina que ejecuta la IA o para extraer datos.
Truco a través del equivalente de las ilusiones ópticas de AI para la forma particular de datos con la que el sistema está diseñado para tratar.
El primero tiene que ser mitigado de la misma manera que cualquier otro software. No estoy seguro de si la IA es más vulnerable en este frente que otro software, me inclinaría a pensar que la complejidad puede aumentar ligeramente el riesgo.
El segundo es probablemente mejor mitigado tanto por el refinamiento cuidadoso del sistema como se señala en algunas de las otras respuestas, sino también por hacer que el sistema sea más sensible al contexto; Muchas técnicas de confrontación dependen de la entrada que se evalúa en el vacío.
fuente
Programador vs Programador
Es una "guerra infinita": programadores contra programadores. Todo puede ser pirateable. La prevención está vinculada al nivel de conocimiento del profesional a cargo de la seguridad y los programadores en seguridad de aplicaciones.
Por ejemplo, hay varias formas de identificar a un usuario que intenta confundir las métricas generadas por el Análisis de opiniones, pero también hay formas de eludir esos pasos. Es una pelea bastante aburrida.
Agente contra agente
Un punto interesante que planteó @DukeZhou es la evolución de esta guerra, que involucra dos inteligencia artificial (agentes). En ese caso, la batalla es una de las más informadas. ¿Cuál es el modelo mejor entrenado?
Sin embargo, para lograr la perfección en el tema de la vulnerabilidad, la inteligencia artificial o la súper inteligencia artificial superan la capacidad de eludir al ser humano. Es como si el conocimiento de todos los piratas informáticos hasta el día de hoy ya existiera en la mente de este agente y comenzó a desarrollar nuevas formas de eludir su propio sistema y desarrollar protección. Complejo, ¿verdad?
Creo que es difícil tener una IA que piense: "¿Va a usar el humano una foto en lugar de poner su rostro para ser identificado?"
¿Cómo podemos prevenirlo?
Siempre teniendo un ser humano supervisando la máquina y, sin embargo, no será 100% efectiva. Sin tener en cuenta la posibilidad de que un agente pueda mejorar su propio modelo solo.
Conclusión
Entonces, creo que el escenario funciona de esta manera: un programador intenta evadir las validaciones de una IA y el desarrollador de IA que adquiere conocimiento a través de registros y pruebas intenta construir un modelo más inteligente y seguro que intenta reducir las posibilidades de falla.
fuente
Hay varios trabajos sobre la verificación de IA. Los verificadores automáticos pueden demostrar las propiedades de robustez de las redes neuronales. Significa que si la entrada X del NN está perturbada no más que en un límite dado ε (en alguna métrica, por ejemplo, L2), entonces el NN da la misma respuesta.
Dichos verificadores son realizados por:
Este enfoque puede ayudar a verificar las propiedades de robustez de las redes neuronales. El siguiente paso es construir una red neuronal de este tipo, que ha requerido robustez. Algunos de los documentos anteriores también contienen métodos para hacerlo.
Existen diferentes técnicas para mejorar la robustez de las redes neuronales:
entrenamiento contradictorio (ver, por ejemplo, A. Kurakin et al., ICLR 2017 )
destilación defensiva (véase, por ejemplo, N. Papernot et al., SSP 2016 )
Defensa MMSTV ( Maudry et al., ICLR 2018 ).
Al menos el último puede hacer que NN sea más robusto. Más literatura se puede encontrar aquí .
fuente
Creo que es así, ningún sistema es seguro, sin embargo, no estoy seguro de si aún puedo decir esto después de 20-30 años de desarrollo / evolución de IA. De todos modos, hay artículos que muestran a los humanos engañando a la IA (Computer Vision).
https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google
https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms
fuente
Invierta su pregunta por un momento y piense:
Al final del día, el software es software y siempre habrá errores y problemas de seguridad. Las IA están en riesgo de todos los problemas a los que no está en peligro el software que no es de IA, ya que la IA no le otorga algún tipo de inmunidad.
En cuanto a la manipulación específica de AI, AI está en riesgo de recibir información falsa. A diferencia de la mayoría de los programas, la funcionalidad de AI está determinada por los datos que consume.
Para un ejemplo del mundo real, hace unos años Microsoft creó un chatbot de IA llamado Tay. La gente de Twitter tardó menos de 24 horas en enseñarle a decir "Vamos a construir un muro, y México lo va a pagar":
(Imagen tomada del artículo de Verge vinculado a continuación, no reclamo ningún crédito por ello).
Y eso es solo la punta del iceberg.
Algunos artículos sobre Tay:
Ahora imagine que no era un bot de chat, imagine que era una pieza importante de inteligencia artificial de un futuro en el que la inteligencia artificial está a cargo de cosas como no matar a los ocupantes de un automóvil (es decir, un automóvil autónomo) o no matar a un paciente en la mesa de operaciones (es decir, algún tipo de equipo de asistencia médica).
De acuerdo, uno esperaría que tales IAs estuvieran mejor protegidas contra tales amenazas, pero suponiendo que alguien encontrara una manera de alimentar tales masas de IA de información falsa sin ser notado (después de todo, los mejores piratas informáticos no dejan rastro), eso realmente podría significar La diferencia entre la vida y la muerte.
Utilizando el ejemplo de un automóvil sin conductor, imagine si los datos falsos pueden hacer que el automóvil piense que debe hacer una parada de emergencia cuando está en una autopista. Una de las aplicaciones para la IA médica es la decisión de vida o muerte en la sala de emergencias, imagínese si un pirata informático podría inclinar la balanza a favor de la decisión equivocada.
En última instancia, la escala del riesgo depende de cuán dependientes sean los humanos de la IA. Por ejemplo, si los humanos juzgaran a una IA y nunca la cuestionaran, se estarían abriendo a todo tipo de manipulaciones. Sin embargo, si usan el análisis de la IA como solo una parte del rompecabezas, sería más fácil detectar cuándo una IA está equivocada, ya sea por medios accidentales o maliciosos.
En el caso de un tomador de decisiones médicas, no solo crea en la IA, realice pruebas físicas y obtenga algunas opiniones humanas también. Si dos médicos no están de acuerdo con la IA, descarte el diagnóstico de la IA.
En el caso de un automóvil, una posibilidad es tener varios sistemas redundantes que esencialmente deben 'votar' sobre qué hacer. Si un automóvil tuviera múltiples AI en sistemas separados que deben votar sobre qué acción tomar, un pirata informático tendría que eliminar más de una IA para obtener el control o causar un punto muerto. Es importante destacar que si las IA se ejecutan en diferentes sistemas, la misma explotación utilizada en uno no se podría hacer en otro, aumentando aún más la carga de trabajo del hacker.
fuente
Estoy de acuerdo con Akio en que ningún sistema es completamente seguro, pero la conclusión es que los sistemas de IA son menos propensos a los ataques cuando se comparan con los sistemas antiguos debido a la capacidad de mejorar constantemente.
A medida que pasa el tiempo, más personas entrarán en el campo aportando nuevas ideas y hardware mejorará para que sean "IA fuerte".
fuente
¿La inteligencia artificial es vulnerable a la piratería?
insinuación; si dices que la IA es vulnerable, entonces no estoy de acuerdo contigo en tal declaración. La inteligencia artificial se divide en tres categorías ni fases por las que se supone que debemos pasar, es decir.
inteligencia artificial estrecha
inteligencia general artificial
súper inteligencia artificial
Por lo tanto, de acuerdo con su declaración; "Me preocupa que los actores maliciosos puedan intentar piratear la IA ....."
dado por los ejemplos en el cuerpo de su mensaje, estamos en el nivel de inteligencia artificial estrecha, donde un pirata informático humano puede torcer su código malicioso para invadir dichas aplicaciones, en este nivel. Sin embargo, si saltamos directamente al nivel final de Artificial Inteligencia; entonces, por supuesto, un ser humano no puede invadir ni hackear un programa de software súper inteligente o un agente súper inteligente de alta tecnología. Por ejemplo; un hacker humano, hace una cosa a la vez, no hay nada que impida que una inteligencia artificial divida su enfoque y haga mucho personal simultáneamente, esto es difícil de adivinar una mente que funciona con precisión de esa manera
para tu información
imagínese viviendo en una nueva sociedad que es de alta tecnología. Echa un vistazo al gran desafío cibernético
Si te perdiste ese evento, lo siento.
fuente
La inteligencia de cualquier tipo es vulnerable a la piratería, ya sea basada en ADN o artificial. Primero, definamos la piratería. En este contexto, la piratería es la explotación de las debilidades para obtener fines específicos que pueden incluir el estado, la ganancia financiera, la interrupción de los negocios o el gobierno, la información que se puede utilizar para la extorsión, la ventaja en un acuerdo comercial o elección, o alguna otra forma de control o manipulación.
Aquí hay ejemplos de estrategias para hackear el cerebro y sus objetivos comunes. Cada uno de estos tiene un sistema digital equivalente.
Algunos están preocupados por lo que se ha llamado The Singularity, donde las entidades de software inteligentes pueden piratear a los humanos y sus estructuras sociales para obtener sus propios fines. Que los humanos puedan hackear los agentes inteligentes de otros humanos es otra posibilidad obvia. No creo que los datos de entrenamiento sean el único punto de ataque.
Las posibilidades enumeradas en la pregunta merecen consideración, pero esta es mi versión de la lista.
La única forma de prevenirlo es esperar un evento de extinción global, pero puede haber formas de mitigarlo. Así como el programa satanás fue escrito para encontrar vulnerabilidades en los sistemas UNIX, los sistemas inteligentes pueden idearse para encontrar vulnerabilidades en otros sistemas inteligentes. Por supuesto, así como los modelos de programación y los sistemas de información convencionales pueden diseñarse teniendo en cuenta la seguridad, reduciendo las vulnerabilidades en la medida razonablemente posible desde el primer día, los sistemas de inteligencia artificial pueden diseñarse con ese objetivo en mente.
Si sigue la ruta de información de cualquier sistema y considera las formas de leer o escribir la señal en cualquier punto a lo largo de la ruta, puede protegerse preventivamente contra esos puntos de acceso. Claramente, tener cuidado al adquirir datos para usar en la capacitación es clave en el caso mencionado en esta pregunta, y se necesita un cifrado adecuado a lo largo de las vías de información, junto con garantizar que no se otorgue acceso físico a personal no autorizado, pero preveo batallas entre medidas y contramedidas que surgen de estas preocupaciones y oportunidades.
fuente
Hay muchas formas de hackear una IA. Cuando era niño descubrí cómo vencer a una computadora de ajedrez. Siempre seguí el mismo patrón, una vez que aprendes puedes explotarlo. El mejor hacker del mundo es un niño de 4 años que quiere algo, probará cosas diferentes hasta que establezca un patrón en sus padres. De todos modos, obtenga un Ai para aprender los patrones de una IA y, dada una combinación determinada, puede calcular el resultado. También hay fallas simples o puertas traseras en el código, ya sea a propósito o por casualidad. También existe la posibilidad de que la IA se piratee a sí misma. Se llama portarse mal, recuerda al niño pequeño otra vez ...
Por cierto, la manera simple es hacer que la IA siempre sea segura ... algo que la gente olvida.
fuente