Parece bastante controvertido decir que los enfoques basados en NN se están convirtiendo en herramientas bastante poderosas en muchas áreas de IA, ya sea reconociendo y descomponiendo imágenes (caras en una frontera, escenas de calles en automóviles, toma de decisiones en situaciones inciertas / complejas o con datos parciales). Casi inevitablemente, algunos de esos usos se desarrollarán en situaciones en las que la IA basada en NN asume parte o la totalidad de la carga humana, y generalmente lo hace mejor que las personas en general.
Los ejemplos pueden incluir NN hipotéticamente utilizado como pasos en autos sin conductor, diagnóstico médico, verificación de identidad / humano, verificación de circuito / diseño, alerta de transacciones dudosas. Probablemente muchos campos en la próxima década más o menos.
Supongamos que esto sucede y generalmente se considera exitoso (por ejemplo, obtiene diagnósticos del 80% del 65% de los médicos humanos o algo así, o los automóviles con IA que incluyen un choque de componentes NN 8% menos que los automóviles o alternativas manejados por humanos, o lo que sea).
Ahora, suponga que uno de estos hace algo muy mal y aberrante en un caso. ¿Cómo se puede abordarlo? Con los pasos lógicos formales se puede rastrear un proceso de decisión formal, pero con NN puede que no haya una lógica formal, especialmente si se vuelve lo suficientemente compleja (en un par de décadas, por ejemplo), solo hay 20 mil millones de procesadores neurales y sus ponderaciones de E / S y conexiones, puede que no sea posible determinar qué causó algún incidente, incluso si se perdieron vidas. Tampoco es posible decir más de lo que los sistemas aprenden continuamente y tales incidentes son raros.
Tampoco he oído hablar de ninguna forma significativa de hacer una "caja negra" o un registrador de vuelo equivalente para NN, (incluso si no se usa en un caso crítico para la vida), que nos permitiría comprender y evitar una mala decisión. A diferencia de otras respuestas a los defectos del producto, si un NN podría ser entrenado después del evento para arreglar uno de estos casos, no proporciona claramente la certeza que desearíamos, que la nueva configuración de NN haya solucionado el problema o no haya reducido el riesgo y equilibrio de otros problemas al hacerlo. Es muy opaco. Y sin embargo, claramente, es sobre todo muy valioso como enfoque de IA.
En 20 años, si NN es un componente (reconocido como seguro y exitoso) en un vuelo de avión o diseño de aeronave, o integrado en un sistema hospitalario para detectar emergencias, o detectar fraude en un banco, y como de costumbre ha pasado cualquier regulación y Los requisitos del mercado pueden existir y llevarse a cabo con un buen historial durante años en el mercado general, y luego, en un caso, dicho sistema algún tiempo después se equivoca en una ocasión: malinterpreta peligrosamente el camino, recomienda medicamentos que dañan la vida o diagnostica descaradamente, o autoriza una transacción fraudulenta flagrante de £ 200 millones en un banco de compensación que solo es atrapado por casualidad antes de que se envíe el dinero.
¿Qué puede hacer el fabricante para abordar las preocupaciones públicas o del mercado, o para explicar el incidente? ¿Qué hace el equipo técnico cuando la junta le dice "cómo sucedió esto y se aseguró de que se solucione"? ¿Qué tipo de registros significativos se pueden guardar, etc.? ¿Tendría que aceptar la sociedad que la incertidumbre y el comportamiento raro ocasional podrían ser inherentes (buena suerte con la sociedad convincente de eso!)? ¿O hay alguna forma mejor de abordar la actividad de registro / depuración / decisión más adecuada para las NN?