¿'Eugene Goostman' realmente pasó la prueba de Turing?

Se dice que 'Eugene Goostman', un programa de computadora desarrollado para simular a un niño de 13 años, logró convencer al 33 por ciento de los jueces de que era humano, y así pasó la prueba de Turing.

El programa de computadora, también conocido como chatbot, pretendía ser un niño ucraniano de 13 años para quien el inglés era un segundo idioma, algo muy diferente.

Para mí, Eugene suena exactamente como debería ser un chatbot mediocre: repetitivo, sin sentido y plagado de no-sequiturs. No sé cómo convenció a los jueces (que parecen poco profesionales).

Muchas personas han criticado a Eugene, como el profesor Stevan Harnad, quien dijo "No tiene sentido" y "No hemos pasado la prueba de Turing. Ni siquiera estamos cerca".

Las opiniones difieren, pero realmente me gustaría saber si pasó la prueba oficialmente.

También se dice que:

Dos premios únicos que nunca se han otorgado. Se ofrece 25K para el primer chatterbot que los jueces no pueden distinguir de un humano real y que puede convencer a los jueces de que el humano es el programa de computadora. $ 100,000 es la recompensa para el primer charlatán que los jueces no pueden distinguir de un ser humano real en una prueba de Turing que incluye descifrar y comprender el texto, la información visual y auditiva. Una vez que esto se logre, la competencia anual terminará.

¿Significa que Eugene ganó $ 25,000?

No existe una "prueba oficial de Turing", por lo que no existe el concepto de "aprobar oficialmente la prueba". Turing describió una metodología que se podría usar para evaluar las inteligencias artificiales. Los organizadores del evento que ganó Eugene Goostman implementaron esa metodología de una manera particular y el programa satisfizo los criterios que los organizadores habían elegido. En ese sentido, pasó la prueba.

Como no existe una "prueba oficial de Turing", podría ser más apropiado decir que Eugene Goostman pasó una prueba de Turing o incluso pasó una prueba de estilo Turing. Es poco probable que los medios se den cuenta de tales sutilezas, especialmente dada la fama de Turing y la idea de " la prueba de Turing" en la conciencia pública.

Creo que los premios a los que te refieres son el Premio Loebner . Según la página de Wikipedia (ver enlace anterior), el ganador para 2014 es 'Rose' de Bruce Wilcox. Ese programa no ganó uno de los premios únicos, pero obtuvo $ 4,000 en premios. 'Eugene Goostman' compitió en 2005 y 2008, terminando segundo en ambas ocasiones.

La competencia que ganó 'Eugene Goostman' fue organizada por Kevin Warwick, de la Universidad de Coventry, para conmemorar los 60 años desde la muerte de Alan Turing. No conozco ningún premio en metálico.

Echa un vistazo a la opinión de Ray Kurzweil sobre la competencia y el programa en cuestión. Extracto:

El profesor Warwick afirma que la prueba fue "sin restricciones". Sin embargo, tener el chatbot afirma ser un niño de 13 años, y uno para quien el inglés no es su primer idioma, es efectivamente una restricción. Además, las interacciones se limitaron a cinco minutos cada una. Existe una alta probabilidad de engañar a jueces ingenuos en tan breve período de tiempo.

Charlé con el chatbot Eugene Goostman, y no me impresionó. Eugene no realiza un seguimiento de la conversación, se repite palabra por palabra y, a menudo, responde con los típicos chatbot non sequiturs.

También encontré que este es un buen comentario: CABLEADO: esa computadora realmente obtuvo una F en la prueba de Turing

Agregar un enlace de Wikipedia para obtener más información sobre la prueba de Turing "original" . Hay muchas pruebas llamadas "prueba de Turing". Wikipedia menciona "al menos 3 versiones principales". La prueba aprobada por Eugeene no es ninguna de esas 3. La prueba aprobada por Eugeene no fue ideada por Alan Turing, pero fue una prueba llamada prueba de Turing, inspirada por Alan Turing, y Eugeene sí la aprobó.

La parte que menciona al menos 3 versiones principales de la prueba de Turing:

Saul Traiger argumenta que existen al menos tres versiones principales de la prueba de Turing, dos de las cuales se ofrecen en "Maquinaria de computación e inteligencia" y una que él describe como "Interpretación estándar". Si bien existe cierto debate sobre si la "Interpretación estándar" es la descrita por Turing o, en cambio, se basa en una lectura errónea de su documento, estas tres versiones no se consideran equivalentes, y sus fortalezas y debilidades son distintas.

Versión 1

El juego original de Turing describió un simple juego de mesa que involucra a tres jugadores. El jugador A es un hombre, el jugador B es una mujer y el jugador C (que desempeña el papel del interrogador) es de cualquier sexo. En el juego de imitación, el jugador C no puede ver ni al jugador A ni al jugador B, y puede comunicarse con ellos solo a través de notas escritas. Al hacer preguntas al jugador A y al jugador B, el jugador C intenta determinar cuál de los dos es el hombre y cuál es la mujer. El papel del jugador A es engañar al interrogador para que tome la decisión equivocada, mientras que el jugador B intenta ayudar al interrogador a tomar la decisión correcta.

Versión 2

La segunda versión apareció más tarde en el artículo de Turing de 1950. Similar a la Prueba de juego de imitación original, el papel del jugador A lo realiza una computadora. Sin embargo, el papel del jugador B lo desempeña un hombre en lugar de una mujer. [...] En esta versión, tanto el jugador A (la computadora) como el jugador B intentan engañar al interrogador para que tome una decisión incorrecta.

Versión 3

La comprensión común dice que el propósito de la Prueba de Turing no es específicamente determinar si una computadora puede engañar a un interrogador para que crea que es un humano, sino más bien si una computadora podría imitar a un humano. Si bien existe cierta controversia sobre si esta interpretación fue intencionada por Turing, Sterrett cree que así fue y combina la segunda versión con esta, mientras que otras, como Traiger, no lo hacen, sin embargo, esto ha llevado a lo que se puede ver como " interpretación estándar ". En esta versión, el jugador A es una computadora y el jugador B es una persona de cualquier sexo. El rol del interrogador no es determinar cuál es masculino y cuál femenino, sino cuál es una computadora y cuál es un humano. El problema fundamental con la interpretación estándar es que el interrogador no puede diferenciar qué respondedor es humano y cuál es máquina. Existen problemas de duración, pero la interpretación estándar generalmente considera esta limitación como algo que debería ser razonable.

En contraste, la prueba aprobada por Eugeene hizo que jueces humanos charlaran con un chatbot durante 5 minutos, luego de lo cual tuvieron que decidir si era un bot o no.

Sí, ganó "una" Prueba de Turing que siguió la descripción original de Alan Turing lo más cerca posible.
Sin embargo, esta no era la versión del premio en metálico de $ 25000 que es el Premio Loebner, cuyas especificaciones difieren de la descripción de Alan Turing.
Más importante aún, Alan Turing nunca quiso decir que esto fuera una prueba genuina en primer lugar , por lo que el resultado no es una prueba de inteligencia, si eso es lo que realmente quería saber.