Requisitos específicos de la prueba de Turing

9

¿Cuáles son los requisitos específicos de la prueba de Turing?

  • ¿Qué requisitos, si corresponde, debe cumplir el evaluador para estar calificado para realizar el examen?
  • ¿Debe haber siempre dos participantes en la conversación (un humano y una computadora) o puede haber más?
  • ¿Se permiten o alientan las pruebas de placebo (donde en realidad no hay una computadora involucrada)?
  • ¿Puede haber múltiples evaluadores? Si es así, ¿la decisión debe ser unánime entre todos los evaluadores para que la máquina haya pasado la prueba?
Luke
fuente

Respuestas:

9

La "Prueba de Turing" generalmente se entiende como una versión actualizada del juego de imitación que Alan Turing propuso en su artículo de 1951 del mismo nombre. Una versión anterior tenía un humano (hombre o mujer) y una computadora, y un juez tenía que decidir cuál era cuál y de qué género eran humanos. Si eran correctas menos del 50%, entonces la computadora se consideraba "inteligente".

La versión actual generalmente aceptada requiere solo un concursante y un juez para decidir si es humano o máquina. Entonces, sí, a veces esto será un placebo, efectivamente, si consideramos que un humano es un placebo.

Sus preguntas primera y cuarta están relacionadas, y no hay pautas estrictas. Si la computadora puede engañar a un mayor número de jueces, entonces, por supuesto, se considerará una mejor IA.

La Universidad de Toronto tiene una sección de validez en este documento sobre Turing , que incluye un enlace al comentario de Jason Hutchens sobre por qué la prueba de Turing puede no ser relevante (los humanos también pueden fallarla) y el Premio Loebner , una instancia formal de un Turing Prueba .

Rory Alsop
fuente
2

Realmente hay dos preguntas aquí, que puedo ver. Una es "¿cuáles fueron los requisitos específicos de la prueba original de Turing, como lo declaró el propio Turing?" La otra es "¿Cuáles deberían ser los requisitos específicos de una prueba de Turing moderna?" Las cosas han avanzado mucho desde los días de Turing, y creo que es razonable para nosotros considerar extender / modificar su prueba para reflejar nuestra comprensión actual.

La respuesta a la primera pregunta es bastante fácil de buscar, así que creo que la interesante es la segunda. ¿Cómo debería ser una prueba para determinar la inteligencia? Con eso en mente, creo que la respuesta a las cuatro preguntas planteadas por el OP es "depende". No creo que haya un consenso universal sobre cómo estructurar una prueba de Turing perfecta, por lo que un experimentador determinado es realmente libre de configurar las cosas como quiera.

Todo esto, por supuesto, se basa en el supuesto de que la prueba de Turing o una prueba similar a la prueba de Turing es realmente valiosa. Eso no es necesariamente un hecho. ¡Considera que, hasta cierto punto, de lo que estamos hablando es de diseñar una IA con una capacidad excepcional de engaño! Es decir, suponiendo que el interlocutor pueda simplemente preguntar "eres humano", entonces debemos suponer que se supone que la IA miente si quiere pasar la prueba. Entonces, uno podría preguntar con razón: ¿diseñar un sistema para ser realmente bueno para decir mentiras es un enfoque valioso para la IA?

crimen mental
fuente
0

Si quieres entender la relatividad, lee Einstein 1,2 , no un libro sobre relatividad escrito por un profesor que cree que lo tiene. Si desea comprender la prueba de inteligencia de Alan Turing en el contexto del diálogo humano, lea Turing. 3 Las interpretaciones pueden ser peores que inútiles. A menudo son engañosos. Si los principios parecen demasiado gruesos, léelos nuevamente hasta que los entiendas.

En el caso de la prueba de inteligencia de Turing en el contexto del diálogo humano, para comprenderla completamente, se asume el siguiente trasfondo cuando Turing escribió, lo que, si lees su artículo de 1950, se hará evidente.

  • Cómo responde el teorema de integridad de Turing al segundo teorema de incompletitud de Kurt Gödel
  • La estrategia de una prueba controlada.
  • La diferencia entre (a) escuchar y hablar y (b) escuchar y responder ingeniosamente - Esto es particularmente pertinente hoy porque los chat-bots hacen (a) y podrían estar entre 5 y 500 años de distancia de hacer (b). Para alcanzar (c) una comprensión profunda y responder con inspiración, los investigadores de IA deben ir más allá de modelar la mente humana y abordar el desafío de modelar las mentes de personas como Gödel, Einstein y Turing. Aún no se ha revelado si eso ocurrirá alguna vez.

Los requisitos específicos del juego de imitación, el subtítulo de Alan Turing sobre la descripción de su experimento mental, son una cuestión de registro.

Requisitos específicos [Extracto del artículo real]

[El juego de imitación] se juega con tres personas, un hombre (A), una mujer (B) y un interrogador (C) que pueden ser de ambos sexos. El interrogador permanece en una habitación separada frente a los otros dos. El objetivo del juego para el interrogador es determinar cuál de los otros dos es el hombre y cuál es la mujer. Los conoce por las etiquetas X e Y, y al final del juego dice "X es A e Y es B" o "X es B e Y es A." El interrogador puede hacer preguntas a A y B de esta manera:

C: ¿Me dirá X la longitud de su cabello?

Ahora suponga que X es en realidad A, entonces A debe responder. El objetivo de A en el juego es intentar que C haga una identificación incorrecta. Por lo tanto, su respuesta podría ser:

"Mi cabello está teñido y los mechones más largos tienen aproximadamente nueve pulgadas de largo".

Para que los tonos de voz no ayuden al interrogador, las respuestas deben escribirse o, mejor aún, escribirse a máquina. La disposición ideal es tener una teleimpresora que se comunique entre las dos habitaciones. Alternativamente, la pregunta y las respuestas pueden ser repetidas por un intermediario. El objetivo del juego para el tercer jugador (B) es ayudar al interrogador.

La mejor estrategia para ella es probablemente dar respuestas veraces. Ella puede agregar cosas como "¡Soy la mujer, no lo escuches!" a sus respuestas, pero no servirá de nada ya que el hombre puede hacer comentarios similares.

Ahora hacemos la pregunta, "¿Qué pasará cuando una máquina tome la parte de A en este juego?" ¿El interrogador decidirá erróneamente con tanta frecuencia cuando el juego se juega así como cuando el juego se juega entre un hombre y una mujer? Estas preguntas reemplazan a nuestro original "¿Pueden pensar las máquinas?"

Ha habido miles de críticas tanto de la relatividad de Einstein como de la prueba de Turing, ninguna de las cuales agrega mucho valor. Estudie el pensamiento de los grandes contribuyentes a través de sus propias palabras y toda la basura que sigue será interesante principalmente por su falta de grandeza.

Preguntas secundarias en este hilo

¿Qué requisitos, si corresponde, debe cumplir el evaluador para estar calificado para realizar el examen?

El interrogador (C) no es un evaluador. La evaluación sería un intento de ser objetivo, sin embargo, la premisa del experimento mental de Turing es que el interrogador proporciona su juicio subjetivo. Desde un punto de vista estadístico, el interrogador debe seleccionarse al azar de la población del mundo que comparte un idioma hablado con (A) y (B).

¿Debe haber siempre dos participantes en la conversación (un humano y una computadora) o puede haber más?

Debe haber exactamente dos para ajustarse al escenario descrito por Alan Turing. (Ver abajo para más detalles).

¿Se permiten o alientan las pruebas de placebo (donde en realidad no hay una computadora involucrada)?

Uno podría probar todo tipo de cosas, y los investigadores lo hacen, sin embargo, eso estaría fuera del alcance del experimento mental de Turing. 4 4

¿Puede haber múltiples evaluadores? Si es así, ¿la decisión debe ser unánime entre todos los evaluadores para que la máquina haya pasado la prueba?

Lo que revelaría la mayor cantidad de información para aquellos que patrocinan un juego de imitación real sería una prueba doble ciego totalmente aleatoria donde (A), (B) y (C) se extraen de una muestra aleatoria de esos hombres, mujeres o software sistemas del tipo bajo prueba que pueden conversar en un lenguaje común, y la prueba se ejecutará muchas veces con selecciones aleatorias de las muestras.

La unanimidad, la evaluación, la complejidad adicional y la comunicación que no sea la especificada por la prueba solo frustraría la causa, si uno se apega a la intención original de Turing con respecto a la pregunta "¿Pueden pensar las computadoras?"

Otras vistas de inteligencia

Turing, como René Descartes, quien afirmó que las máquinas nunca pasarán una versión menos controlada del juego de imitación de Turing, vio la inteligencia a través de la lente del diálogo. Otros han considerado otros tipos de diálogo y otros contextos que el diálogo. Abordé esto en otra pregunta:

¿Puede un cerebro ser inteligente sin un cuerpo?

Referencias y notas al pie

[1] Relatividad: el especial y la teoría general de Albert Einstein, 1916

[2] El principio de la relatividad de Albert Einstein y Francis A. Davis, 1923.

[3] AM Turing (1950) Maquinaria e inteligencia informática. Mente 49: 433-460. https://www.csee.umbc.edu/courses/471/papers/turing.pdf

[4] El artículo de Turing de 1950 no recomendaba que su experimento mental se incorporase y se utilizara en la validación comercial de futuros sistemas de IA. Sin embargo, a Alan Turing le preocupaba la informática práctica en un punto específico de su carrera. Fue entonces cuando los nazis invadieron Francia, pulverizaron su tierra natal desde el aire y hundieron una parte importante de la Armada inglesa desde abajo, con la ayuda de la criptografía Enigma.

Douglas Daseeco
fuente