¿Qué hacen los estadísticos que no se pueden automatizar?

26

¿El software eventualmente hará que los estadísticos sean obsoletos? ¿Qué se hace que no se puede programar en una computadora?

Adam
fuente
21
Ellos piensan (es decir, llevar el conocimiento a soportar).
gung - Restablece a Monica
10
Interpretación de los resultados ;-)
ocram
55
la misma pregunta se puede hacer para los programadores en general entonces;)
nb1
44
Diseñamos estudios, y en particular tenemos que lidiar con problemas de la vida real donde el diseño estadísticamente "mejor" no se puede implementar. Limpiamos datos sucios, aportando conocimiento del mundo real. También interpretamos los resultados en forma simple [insertar el idioma de elección].
Michelle
13
¡tomar cerveza! ; o)
Dikran Marsupial

Respuestas:

28

@ Adam, si piensas en investigadores estadísticos de forma análoga a los de otros campos, personas que se basan en la metodología y el conocimiento existentes, entonces podría aclarar que la respuesta a tu primera pregunta es 'No'.

Los estadísticos que se ganan la vida simplemente aplicando paquetes de software enlatados podrían ser reemplazados por computadoras para cada paso, excepto escribir la sección de discusión de un documento donde los resultados deben ser interpretados. Entonces, en ese sentido, sí, podría automatizarse (aunque tendría que ser una pieza de software complicada que tiene un procesador de lenguaje natural increíble).

Sin embargo, como la mayoría de los investigadores finalmente descubren, las rutinas "enlatadas" que la gente usa a menudo son bastante limitadas y deben modificarse (o deben desarrollarse nuevos métodos por completo) para responder preguntas de investigación especializadas; aquí es donde el aspecto humano de la estadística es indispensable . O, un investigador debe simplemente conformarse con una pregunta de investigación algo diferente, pero relacionada, que puede responderse utilizando métodos clásicos.

La mayoría de los estadísticos que conozco trabajan en trabajos de investigación (por ejemplo, profesores, investigadores científicos) donde su función principal es desarrollar una nueva metodología. Si este proceso pudiera automatizarse, lo que significa que una computadora puede formular y desarrollar una nueva metodología útil, entonces me temo que los investigadores en todos los campos serían obsoletos.

Macro
fuente
2
Creo que su segundo párrafo pierde un punto: no es solo el final del proceso (interpretación de resultados) lo que es difícil, sino también el comienzo: comprender qué métodos aplicar a los datos de qué maneras, lo que en el caso general requiere comprender la naturaleza de los datos y el sistema del que provienen.
Cascabel
@Jefromi, como le comenté a alguien a continuación, creo que la comprensión proviene de un experto en el campo de la aplicación, no de un estadístico.
Macro
Si la comprensión "viniera" de expertos en el campo de la aplicación, mi trabajo sería mucho más fácil (y mucho menos divertido). Hay un problema de marco: algo que el experto no piensa decir puede ser importante para el análisis estadístico. En la práctica, las colaboraciones más fructíferas dan como resultado que el experto aprenda una buena cantidad de estadísticas y que el estadístico aprenda una buena cantidad sobre el campo de aplicación.
Scortchi - Restablece a Monica
33

Las computadoras solo harán que los estadísticos sean obsoletos cuando una IA fuerte haga que los humanos en su conjunto sean obsoletos.

La pregunta me recuerda a la pregunta sobre "Si hay todos estos métodos estadísticos robustos, ¿por qué la gente todavía usa otros métodos?" Parte de la respuesta es hábito y entrenamiento, pero gran parte es que la pregunta es ingenua: "robusto" no significa "no tienes que pensar y entender lo que estás haciendo", como lo implica la pregunta.

Quiero decir, podrías descargar el paquete de estadísticas R hoy y estar haciendo cualquier técnica estadística básica al anochecer. Luego puede descargar un par de paquetes y comenzar a usar métodos tan esotéricos que la mayoría de nosotros ni siquiera hemos oído hablar de ellos. La pregunta es: ¿obtendrías respuestas razonables? La respuesta es probablemente no.

Los algoritmos están automatizados, pero aún tiene que hacer muchas llamadas de juicio a lo largo del camino de investigación: desde el plan de ataque hasta el juicio final de si los resultados realmente tienen sentido. Para llegar a ese punto, realmente estás hablando de computadoras parecidas a Star-Trek donde puedes decir: "Computadora, dime ...", momento en el cual casi todas las vocaciones humanas son obsoletas.

Wayne
fuente
44
+1 para "Las computadoras solo harán que los estadísticos sean obsoletos cuando una IA fuerte haga que los humanos sean completamente obsoletos".
Macro
10

¿Qué puede hacer un estadístico que una computadora no puede hacer? Escriba el programa original por el que los reemplaza.

Más allá de esa respuesta algo tonta, la raíz de la pregunta es ignorar la ciencia real de la estadística a favor de su mecánica y descartar por completo el papel del proceso creativo en el análisis estadístico. Esto es, para usar el ejemplo del automóvil de Peter Flom, como decir que los automóviles se construyen con remaches y soldaduras, por lo que no hay razón para que el nuevo Mustang no se pueda diseñar remachando y soldando robots.

Una gran cantidad de hacer estadísticas implica experiencia en el tema, juicios y creatividad. El análisis "enlatado" que se ejecuta desde un algoritmo a menudo no le dará la mejor respuesta, y hay innumerables ejemplos documentados en los que el uso de métodos automatizados en realidad le da el error respuesta , o al menos no la respuesta que cree que está obteniendo. El uso de procedimientos de selección de variables basadas en valores p por etapas y análisis basados ​​en cuantiles puramente numéricamente definidos son dos con los que estoy más familiarizado, pero estoy seguro de que puede encontrar una gran cantidad de otros por ahí.

Incluso si todo eso estuviera de alguna manera automatizado, está la cuestión de interpretar los resultados. El trabajo del estadístico (o científico con inclinación estadística) no se realiza cuando obtiene un coeficiente de regresión o valor p. Lo que hace que la búsqueda de media . ¿Cuáles son las advertencias? ¿Qué representa esto en el contexto de lo que viene antes?

Finalmente, tienes el desarrollo de nuevos métodos. Las estadísticas no son algo que simplemente fue presentado hace mucho tiempo por personas cuyos nombres reconocemos: Fisher, Cox, etc. Es un campo en evolución, y no se puede programar un nuevo método en una computadora hasta que una persona desarrolle el método en sí.

Fomite
fuente
2
(+1) porque "El análisis enlatado que se ejecuta desde un algoritmo a menudo no le dará la mejor respuesta" es muy cierto. Esto no significa que los practicantes humanos de estadística no hagan esto todo el tiempo. (Nota: la mayoría de los profesionales de las estadísticas NO son estadísticos ... más bien como las personas que usan estadísticas a pesar de no saber realmente lo que están haciendo, lo que a menudo resulta en una mala ciencia)
Macro
10

Otra forma de interpretar esta pregunta podría ser: "¿el rápido aumento de las técnicas estadísticas automatizadas en los últimos años ha correspondido con una menor demanda de empleos para estadísticos y analistas de datos dedicados?"

Podemos abordar esta pregunta mirando los datos mercado de trabajo para puestos de análisis de datos
ingrese la descripción de la imagen aquí

Datos cortesía de Indeed.com y el blog de revoluciones

cboettig
fuente
+1 Incluso Indeed.com no ha hecho que @cboettig sea obsoleto.
Thomas Levine
44
No estoy convencido de que "la demanda de empleos para estadísticos dedicados y analistas de datos" tenga una fuerte correlación con el uso de las palabras clave "científico de datos" o "big data" en los anuncios de empleo. <- sospechar de las suposiciones es lo que el humano trae a la mesa ;-)
Darren Cook
@DarrenCook bien dicho!
cboettig
7

No estoy totalmente de acuerdo con la premisa de la pregunta, es decir, creo que no hay forma en que las computadoras puedan esperar reemplazar a los estadísticos, sino poner un ejemplo concreto de por qué creo que:

El trabajo que los estadísticos hacen con los científicos, particularmente, en el diseño e interpretación de experimentos, requiere no solo una mente humana sino incluso una inclinación filosófica que es inconcebible que las computadoras puedan mostrar.

A menos que terminemos en algún tipo de situación de tipo Skynet, por supuesto, en cuyo caso creo que todas las apuestas probablemente estén canceladas en lo que respecta al futuro de toda la humanidad, no importa solo los estadísticos :-)

Chris Beeley
fuente
1
Excepto que tengo señores felinos que obedecer. :)
Michelle
5

La pregunta sugiere una visión ingenua de un estadístico: que se trata de verificar si ap <0.05 e informar algunos números y gráficos estándar. Si eso es lo que quieres decir con estadístico, entonces estás en lo cierto al decir que gran parte de esto podría ser completamente automatizado. Pero eso no es lo que significa estadístico.

Sin embargo, defina su término estadístico y podría obtener mejores respuestas.

John
fuente
3

Cargar un paquete de estadísticas en su computadora no lo convierte en un estadístico más de lo que comprar un automóvil le permite conducir.

Incluso si el estadístico solo aplica rutinas "enlatadas", hay muchas preguntas.

  1. Cual rutina? ¿Qué rutina responderá las preguntas del cliente?
  2. ¿Con que variables? y deberían ser transformados? ¿Deben combinarse algunos niveles? ¿Cuál debería ser forzado a un modelo?
  3. ¿Con qué datos? ¿Deben eliminarse los valores atípicos? Recortado? Tal vez un método robusto?

y así.

Pero el trabajo comienza mucho antes de que se encienda la computadora y termina mucho después de que se apaga el paquete estadístico.

Antes: ¿Qué quiere hacer el cliente? A menudo esto es mucho trabajo! ¿Qué datos tiene el cliente? Oy vey! Las variables están etiquetadas de V1 a V828171 ¿Cuáles son cuáles? ¿Cuál es el estado de la literatura? ¿Qué esperará el cliente? ¿Qué tan técnico debería ser?

Después: ¿Qué significan los resultados? ? (y no solo "esto significa que la regresión es significativa") ¿Cómo se deben explicar los resultados al cliente? ¿Qué otras preguntas plantean los resultados?

Creo que pasará mucho tiempo antes de que las computadoras puedan hacer esto.

Peter Flom - Restablece a Monica
fuente
1
Para que pueda responder las preguntas enumeradas en (1), (2) y (3), debe realizar un proceso lógico. Teóricamente, este proceso lógico podría codificarse en un programa de computadora. Si la computadora tuviera un procesador de lenguaje natural perfecto y el software contuviera todo el software "enlatado", y tuviera programada la lógica mencionada anteriormente, sería capaz de hacer estas cosas. O, ¿estás diciendo que no es exactamente un proceso lógico?
Macro
44
Para mí, la analogía está un poco más cerca de "comprar un automóvil no te hace mecánico ni diseñador de automóviles".
cardenal
1
@Macro Debido a que es un proceso lógico, no necesariamente significa que se pueda programar en una computadora. "En caso de que se combinen algunos niveles" no siempre es una medida numérica; requiere considerar si esos niveles combinados tienen sentido en el contexto de la variable en sí, por ejemplo.
Fomite
1
Decidir si tiene sentido en el contexto de la aplicación tampoco es una pregunta para un estadístico, es una pregunta para un experto en lo que sea la aplicación. Un estadístico puede decirle si es justificable combinar niveles en función de si parecen homogéneos o no, lo que sin duda podría enseñarse a una computadora.
Macro
44
No puedo resistirme a señalar que Google ha estado haciendo grandes avances en la dirección en la que comprar un automóvil le permitirá conducir, ¡lo hará automáticamente!
whuber
2

Los estudios académicos que analizan la probabilidad de automatización de diferentes ocupaciones o tareas no creen que los estadísticos pronto sean sustituidos por computadoras. Véase, por ejemplo, el controvertido estudio de Frey y Osborne (2013) que clasifica las ocupaciones de acuerdo con su probabilidad de informatización, los estadísticos se clasifican bajo 213 de 702 con una probabilidad del 22% (ver tabla en el apéndice). Si está más interesado, consulte también el artículo de Slate aquí .

Arntz y col. (2016) ( aquí un artículo de The Economist) analiza las tareas en lugar de las ocupaciones para la Unión Europea y llega a una conclusión similar: Hacer "Matemáticas o estadísticas complejas" está estadísticamente significativamente relacionado negativamente con la automatización del trabajo (ver Tabla 3).

Pero es aconsejable cierta precaución, los académicos y / o economistas no siempre han sido muy buenos para predecir el futuro (el premio Nobel Robert Lucas, por ejemplo, concluyó en 2003, unos años antes de las crisis financieras, que el "problema central de la prevención de la depresión como ha sido resuelto, a todos los efectos prácticos, y de hecho ha sido resuelto por muchas décadas " ). Ambos estudios parecen ser documentos de trabajo, que se discuten ampliamente pero no se han publicado en revistas estándar revisadas por pares.

Con respecto al debate académico, aquí puede encontrar un artículo general sobre el estado de la investigación sobre la automatización.

Arne
fuente
0

Creo que la IA solo hará que los estadísticos sean más inteligentes y competitivos. ¿Por qué? Porque esta es la intención de la inteligencia artificial desde su concepción hace muchas décadas ...

user22478
fuente