¿Qué límites, si hay alguno, pone el problema de detención en la Inteligencia Artificial?

Dado el problema comprobado de detención para las máquinas de Turing , ¿podemos inferir límites en la capacidad de una Inteligencia Artificial fuerte?

¿El problema de detención implica algún límite en la cognición humana?

Sí, absolutamente, que hay fragmentos de código que un humano podría mirar y no estar seguro de si se detendrá o no en un tiempo finito. (Ciertamente, hay fragmentos de código que un humano puede mirar y decir "sí" o "no" definitivamente, pero estamos hablando de los que en realidad son bastante difíciles de analizar).

El problema de detención significa que hay tipos de análisis de código que ninguna computadora podría hacer, porque es matemáticamente imposible. Pero el ámbito de la posibilidad es lo suficientemente grande como para permitir una fuerte inteligencia artificial (en el sentido de un código que puede entenderse lo suficientemente bien como para mejorar).

El problema de detención es un ejemplo de un fenómeno general conocido como Indecidibilidad , que muestra que hay problemas que ninguna máquina de Turing puede resolver en un tiempo finito. Consideremos la generalización de que es indecidible si una máquina de Turing cumple alguna propiedad no trivial P, llamada teorema de Rice .

Primero tenga en cuenta que el problema de detención se aplica solo si la máquina Turing toma una entrada arbitrariamente larga. Si la entrada está limitada, es posible enumerar todos los casos posibles y el problema ya no es indecidible. Todavía puede ser ineficiente calcularlo, pero luego nos estamos volcando a la teoría de la complejidad, que debería ser una pregunta separada.

El teorema de Rice implica que una inteligencia (un humano) no puede determinar si otra inteligencia (como un AGI) posee cierta propiedad, como ser amigable . Esto no significa que no podamos diseñar un AGI amigable, pero sí significa que no podemos verificar si un AGI arbitrario es amigable. Entonces, aunque posiblemente podamos crear una IA que garantice que sea amigable, también debemos asegurarnos de que TI no pueda crear otra IA que sea hostil.