¿Qué hacen los estadísticos que no se pueden automatizar?

¿El software eventualmente hará que los estadísticos sean obsoletos? ¿Qué se hace que no se puede programar en una computadora?

@ Adam, si piensas en investigadores estadísticos de forma análoga a los de otros campos, personas que se basan en la metodología y el conocimiento existentes, entonces podría aclarar que la respuesta a tu primera pregunta es 'No'.

Los estadísticos que se ganan la vida simplemente aplicando paquetes de software enlatados podrían ser reemplazados por computadoras para cada paso, excepto escribir la sección de discusión de un documento donde los resultados deben ser interpretados. Entonces, en ese sentido, sí, podría automatizarse (aunque tendría que ser una pieza de software complicada que tiene un procesador de lenguaje natural increíble).

Sin embargo, como la mayoría de los investigadores finalmente descubren, las rutinas "enlatadas" que la gente usa a menudo son bastante limitadas y deben modificarse (o deben desarrollarse nuevos métodos por completo) para responder preguntas de investigación especializadas; aquí es donde el aspecto humano de la estadística es indispensable . O, un investigador debe simplemente conformarse con una pregunta de investigación algo diferente, pero relacionada, que puede responderse utilizando métodos clásicos.

La mayoría de los estadísticos que conozco trabajan en trabajos de investigación (por ejemplo, profesores, investigadores científicos) donde su función principal es desarrollar una nueva metodología. Si este proceso pudiera automatizarse, lo que significa que una computadora puede formular y desarrollar una nueva metodología útil, entonces me temo que los investigadores en todos los campos serían obsoletos.

Las computadoras solo harán que los estadísticos sean obsoletos cuando una IA fuerte haga que los humanos en su conjunto sean obsoletos.

La pregunta me recuerda a la pregunta sobre "Si hay todos estos métodos estadísticos robustos, ¿por qué la gente todavía usa otros métodos?" Parte de la respuesta es hábito y entrenamiento, pero gran parte es que la pregunta es ingenua: "robusto" no significa "no tienes que pensar y entender lo que estás haciendo", como lo implica la pregunta.

Quiero decir, podrías descargar el paquete de estadísticas R hoy y estar haciendo cualquier técnica estadística básica al anochecer. Luego puede descargar un par de paquetes y comenzar a usar métodos tan esotéricos que la mayoría de nosotros ni siquiera hemos oído hablar de ellos. La pregunta es: ¿obtendrías respuestas razonables? La respuesta es probablemente no.

Los algoritmos están automatizados, pero aún tiene que hacer muchas llamadas de juicio a lo largo del camino de investigación: desde el plan de ataque hasta el juicio final de si los resultados realmente tienen sentido. Para llegar a ese punto, realmente estás hablando de computadoras parecidas a Star-Trek donde puedes decir: "Computadora, dime ...", momento en el cual casi todas las vocaciones humanas son obsoletas.

¿Qué puede hacer un estadístico que una computadora no puede hacer? Escriba el programa original por el que los reemplaza.

Más allá de esa respuesta algo tonta, la raíz de la pregunta es ignorar la ciencia real de la estadística a favor de su mecánica y descartar por completo el papel del proceso creativo en el análisis estadístico. Esto es, para usar el ejemplo del automóvil de Peter Flom, como decir que los automóviles se construyen con remaches y soldaduras, por lo que no hay razón para que el nuevo Mustang no se pueda diseñar remachando y soldando robots.

Una gran cantidad de hacer estadísticas implica experiencia en el tema, juicios y creatividad. El análisis "enlatado" que se ejecuta desde un algoritmo a menudo no le dará la mejor respuesta, y hay innumerables ejemplos documentados en los que el uso de métodos automatizados en realidad le da el error respuesta , o al menos no la respuesta que cree que está obteniendo. El uso de procedimientos de selección de variables basadas en valores p por etapas y análisis basados ​​en cuantiles puramente numéricamente definidos son dos con los que estoy más familiarizado, pero estoy seguro de que puede encontrar una gran cantidad de otros por ahí.

Incluso si todo eso estuviera de alguna manera automatizado, está la cuestión de interpretar los resultados. El trabajo del estadístico (o científico con inclinación estadística) no se realiza cuando obtiene un coeficiente de regresión o valor p. Lo que hace que la búsqueda de media . ¿Cuáles son las advertencias? ¿Qué representa esto en el contexto de lo que viene antes?

Finalmente, tienes el desarrollo de nuevos métodos. Las estadísticas no son algo que simplemente fue presentado hace mucho tiempo por personas cuyos nombres reconocemos: Fisher, Cox, etc. Es un campo en evolución, y no se puede programar un nuevo método en una computadora hasta que una persona desarrolle el método en sí.

Otra forma de interpretar esta pregunta podría ser: "¿el rápido aumento de las técnicas estadísticas automatizadas en los últimos años ha correspondido con una menor demanda de empleos para estadísticos y analistas de datos dedicados?"

Podemos abordar esta pregunta mirando los datos

Datos cortesía de Indeed.com y el blog de revoluciones

No estoy totalmente de acuerdo con la premisa de la pregunta, es decir, creo que no hay forma en que las computadoras puedan esperar reemplazar a los estadísticos, sino poner un ejemplo concreto de por qué creo que:

El trabajo que los estadísticos hacen con los científicos, particularmente, en el diseño e interpretación de experimentos, requiere no solo una mente humana sino incluso una inclinación filosófica que es inconcebible que las computadoras puedan mostrar.

A menos que terminemos en algún tipo de situación de tipo Skynet, por supuesto, en cuyo caso creo que todas las apuestas probablemente estén canceladas en lo que respecta al futuro de toda la humanidad, no importa solo los estadísticos :-)

La pregunta sugiere una visión ingenua de un estadístico: que se trata de verificar si ap <0.05 e informar algunos números y gráficos estándar. Si eso es lo que quieres decir con estadístico, entonces estás en lo cierto al decir que gran parte de esto podría ser completamente automatizado. Pero eso no es lo que significa estadístico.

Sin embargo, defina su término estadístico y podría obtener mejores respuestas.

Cargar un paquete de estadísticas en su computadora no lo convierte en un estadístico más de lo que comprar un automóvil le permite conducir.

Incluso si el estadístico solo aplica rutinas "enlatadas", hay muchas preguntas.

1. Cual rutina? ¿Qué rutina responderá las preguntas del cliente?
2. ¿Con que variables? y deberían ser transformados? ¿Deben combinarse algunos niveles? ¿Cuál debería ser forzado a un modelo?
3. ¿Con qué datos? ¿Deben eliminarse los valores atípicos? Recortado? Tal vez un método robusto?

y así.

Pero el trabajo comienza mucho antes de que se encienda la computadora y termina mucho después de que se apaga el paquete estadístico.

Antes: ¿Qué quiere hacer el cliente? A menudo esto es mucho trabajo! ¿Qué datos tiene el cliente? Oy vey! Las variables están etiquetadas de V1 a V828171 ¿Cuáles son cuáles? ¿Cuál es el estado de la literatura? ¿Qué esperará el cliente? ¿Qué tan técnico debería ser?

Después: ¿Qué significan los resultados? ? (y no solo "esto significa que la regresión es significativa") ¿Cómo se deben explicar los resultados al cliente? ¿Qué otras preguntas plantean los resultados?

Creo que pasará mucho tiempo antes de que las computadoras puedan hacer esto.

Los estudios académicos que analizan la probabilidad de automatización de diferentes ocupaciones o tareas no creen que los estadísticos pronto sean sustituidos por computadoras. Véase, por ejemplo, el controvertido estudio de Frey y Osborne (2013) que clasifica las ocupaciones de acuerdo con su probabilidad de informatización, los estadísticos se clasifican bajo 213 de 702 con una probabilidad del 22% (ver tabla en el apéndice). Si está más interesado, consulte también el artículo de Slate aquí .

Arntz y col. (2016) ( aquí un artículo de The Economist) analiza las tareas en lugar de las ocupaciones para la Unión Europea y llega a una conclusión similar: Hacer "Matemáticas o estadísticas complejas" está estadísticamente significativamente relacionado negativamente con la automatización del trabajo (ver Tabla 3).

Pero es aconsejable cierta precaución, los académicos y / o economistas no siempre han sido muy buenos para predecir el futuro (el premio Nobel Robert Lucas, por ejemplo, concluyó en 2003, unos años antes de las crisis financieras, que el "problema central de la prevención de la depresión como ha sido resuelto, a todos los efectos prácticos, y de hecho ha sido resuelto por muchas décadas " ). Ambos estudios parecen ser documentos de trabajo, que se discuten ampliamente pero no se han publicado en revistas estándar revisadas por pares.

Con respecto al debate académico, aquí puede encontrar un artículo general sobre el estado de la investigación sobre la automatización.

Creo que la IA solo hará que los estadísticos sean más inteligentes y competitivos. ¿Por qué? Porque esta es la intención de la inteligencia artificial desde su concepción hace muchas décadas ...