¿Son perjudiciales los expertos?

15

Estoy leyendo "El papel del ajedrez en la investigación de inteligencia artificial" ( pdf ) y, curiosamente, dice:

La experiencia [...] sugiere que las aportaciones de los expertos en ajedrez, aunque generalmente son útiles, no se puede confiar por completo.

Un buen ejemplo de esto es la función de evaluación de Deep Thought. Varios cambios realizados por expertos en ajedrez humano no lograron mejoras significativas y ocasionalmente incluso afectaron negativamente el rendimiento de la máquina.

Aquí, los expertos humanos, junto con su experiencia, introdujeron sus propios prejuicios en el programa. Una forma de resolver este problema es limitar el tipo y la cantidad de aportes de expertos permitidos en el programa; en otro tener una máquina casi "libre de conocimiento".

  • ¿Qué tan cierto es eso en la investigación y la práctica modernas?
  • ¿Es ese un gran problema, o simplemente algo específico del juego de ajedrez?
andreister
fuente
33
Hay una cita famosa a este efecto en PNL. Algo
parecido a
33
La respuesta de Atilla es en gran medida correcta (con la calificación que proporciono como comentario), pero pensé en señalar brevemente que en el caso específico del ajedrez, se ha demostrado que Deep Thought juega al ajedrez de manera muy diferente a los expertos en ajedrez. Deep Thought calcula explícitamente muchos movimientos por adelantado. Los expertos solo calculan unos pocos movimientos, pero también emplean el atajo computacional de recordar juegos y resultados previamente experimentados. Este recuerdo se manifiesta a través del reconocimiento implícito de patrones que superpone una experiencia afectiva al juego (ciertos movimientos "simplemente se sienten bien").
Mike Lawrence

Respuestas:

11

Creo que esto se trata más de resolver problemas de ingeniería. La mayoría de los proyectos de ingeniería exitosos no duplican el razonamiento experto o la naturaleza exacta del experto. Resolvieron el problema de una manera diferente.

Por ejemplo, las lavadoras usan una técnica diferente a la de los humanos, los aviones usan dinámicas diferentes a las de las aves.

Si está duplicando el razonamiento experto, su aporte lo es todo . Pero si está resolviendo el mismo problema utilizando diferentes técnicas (búsqueda rápida, gran memoria ...), su entrada solo es útil .

Atilla Ozgur
fuente
Si bien estoy de acuerdo con usted, este razonamiento parece demasiado obvio, lo siento :) En el documento dicen que los expertos "introdujeron sus propios prejuicios", lo que parece un poco más que malentendidos en la implementación.
andreister
Por supuesto, dan aportes tanto buenos como malos, ya que ven el mundo a su manera, lo cual es muy diferente de la visión de la computadora.
Atilla Ozgur
77
Añadiría que hay que tener en cuenta que la experiencia a menudo está tan automatizada que se vuelve opaca para el examen consciente. Por lo tanto, los expertos a menudo no pueden tener una conciencia verbalizable de los pasos de procesamiento de información que están tomando para lograr el desempeño experto.
Mike Lawrence
3

Tales problemas son comunes en varias áreas que requieren juicio.

El capítulo sobre " Pronósticos y ajustes críticos" en Makridakis, Wheelwright y Hyndman Forecasting: métodos y aplicaciones tiene historias similares de juicio de expertos con bajo rendimiento, a veces incluso sistemas muy simples.

Hay un artículo (Dawes et al (1989) "Clinical vs Actuarial Judgment" Science , Vol 243, No 4899, p1668-74) sobre las fallas del juicio experto en el área médica contra lo que llama métodos 'actuariales' - básicamente bastante simple modelos estadísticos

Por otro lado, hay un artículo en la literatura actuarial sobre el 'ruido' y la inconsistencia del juicio experto en un problema particular en esa área donde el juicio experto a menudo es considerado por sus profesionales como de suma importancia.

Makridakis et al discuten fallas en el juicio de expertos en muchas áreas, en lo que se refiere a la predicción, y contiene un poco de valioso consejo.

Y así sigue. Abundan los sesgos cognitivos y los expertos humanos los padecen junto con todos los demás.

Glen_b -Reinstate a Monica
fuente
3

La cuestión de si los expertos son perjudiciales o no, ciertamente no es un problema restringido al juego de ajedrez.

Una pregunta interesante en la literatura sobre el diseño óptimo de los Comités de Política Monetaria (MPC) es si los comités deben incluir o no expertos externos que no sean empleados a tiempo completo del banco central.

Para poner esto en perspectiva, primero considere el MPC del Banco de Inglaterra. Está compuesto por cinco miembros ejecutivos internos del banco y cuatro expertos externos. Por otro lado, el Banco de la Reserva Federal emplea un comité compuesto únicamente por empleados del banco.

Los miembros expertos externos están incluidos en el MPC del Banco de Inglaterra, ya que se cree que aportan experiencia e información adicional a la obtenida dentro del Banco de Inglaterra.

Entonces, ¿qué diseño MPC es mejor? ¿Expertos adentro o expertos afuera?

Bueno, esta área de investigación aún está activa y ha sido investigada recientemente por Hansen & McMahon (2010) . Sugiero consultar las referencias mencionadas en este documento para leer más sobre este tema de "comités de expertos".

¿Es este un gran problema (importante)? Teniendo en cuenta los efectos que la decisión de un MPC puede tener para la economía, ¡diría que este es un problema bastante importante!

Por último, debo mencionar que las decisiones de política monetaria pueden, en teoría, delegarse en una computadora. Por ejemplo, la computadora podría programarse para implementar, por ejemplo, una regla de política monetaria simple ; por ejemplo, uno de compromiso. Esto eliminaría el aporte de expertos después de que la regla de política monetaria se haya programado en la computadora. El uso de la computadora en la política monetaria se menciona en Svensson (1999) .

Referencia : Stephen Eliot Hansen y Michael McMahon, 2010. "¿Qué aportan los expertos externos a un comité? Evidencia del Banco de Inglaterra", Documentos de trabajo de economía 1238, Departamento de Economía y Empresa, Universitat Pompeu Fabra.

Lars EO Svensson, 1999. "¿Cómo debería llevarse a cabo la política monetaria en una era de estabilidad de precios?", Proceedings, Federal Reserve Bank of Kansas City, páginas 195-259.

Graeme Walsh
fuente
3

Creo que la clave es la consistencia. El experto no solo tiene un conocimiento particular, sino un sistema dentro del cual opera ese conocimiento. Tienen una personalidad, una estrategia general, dentro de la cual residen y evolucionan sus tácticas.

En cierto sentido, un programa de computadora jugando al ajedrez es un Monstruo de Frankenstein creado a partir de una combinación de varios cuerpos (programadores, expertos, etc.). Por lo tanto, no es sorprendente que los consejos de un experto no encajen bien con el sistema que existe.

Estoy de acuerdo con otros comentarios de que los expertos pueden no saber cómo hacen lo que hacen. En cuyo caso, siendo humanos, su mente consciente inventa una historia plausible de por qué llegaron a una decisión particular. Pero sigo pensando que el asesoramiento de expertos al equipo de programación siempre está fuera de contexto (es decir, inconsistente con el contexto del diseño y la historia del programa).

EDITAR: También puede haber un sesgo de refuerzo aquí. No puedo encontrar ningún buen enlace para explicar el sesgo de refuerzo, pero la forma en que entiendo el término es el efecto que obtienes cuando actualizas (reajustas) un modelo supervisado utilizando los resultados anteriores del modelo, generalmente indirectamente, como objetivos. Es similar al sesgo de confirmación, pero implica un nivel de indirección. Los expertos humanos tendrían sus sesgos de refuerzo, que podrían afectar las cosas.

Wayne
fuente
No estoy seguro de entender tu última oración, que parece ser un punto interesante. ¿Podrías dar más detalles?
Michelle
@Michelle: El programa que esperamos mejorar con el asesoramiento de un experto en la materia ya tiene su propio contexto (diseño original, programadores, expertos anteriores, etc.). El consejo que estamos tratando de incorporar proviene de un contexto diferente, y puede que no funcione bien, puede que ni siquiera sea coherente con el contexto que el programa ya tiene. Mi última declaración fue un intento de decir que en realidad es poco probable que una nueva entrada funcione en el contexto (del programa) que ya está establecido.
Wayne