¿Por qué las estadísticas bayesianas no son más populares para el control estadístico de procesos?

Mi comprensión del debate bayesiano vs frecuentista es que las estadísticas frecuentistas:

• es (o pretende ser) objetivo
• o al menos imparcial
• así que diferentes investigadores, utilizando diferentes supuestos aún pueden obtener resultados cuantitativamente comparables

mientras que las estadísticas bayesianas

• pretende hacer predicciones "mejores" (es decir, menor pérdida esperada), porque puede usar conocimiento previo (entre otras razones)
• necesita menos opciones "ad hoc", reemplazándolas por opciones anteriores / modelo que (al menos en principio) tengan una interpretación del mundo real.

Dado eso, hubiera esperado que las estadísticas bayesianas fueran muy populares en SPC: si fuera el dueño de una fábrica que tratara de controlar la calidad de mi proceso, me importaría principalmente la pérdida esperada; Si pudiera reducir eso, porque tengo más / mejor conocimiento previo que mis competidores, aún mejor.

Pero prácticamente todo lo que he leído sobre SPC parece ser firmemente frecuente (es decir, sin distribuciones previas, estimaciones puntuales de todos los parámetros, muchas opciones ad-hoc sobre el tamaño de la muestra, los valores de p, etc.)

¿Porqué es eso? Puedo ver por qué las estadísticas frecuentistas eran una mejor opción en la década de 1960, cuando SPC se realizó con lápiz y papel. Pero, ¿por qué nadie ha probado diferentes métodos desde entonces?

ADVERTENCIA Escribí esta respuesta hace mucho tiempo con muy poca idea de lo que estaba hablando. No puedo eliminarlo porque ha sido aceptado, pero no puedo respaldar la mayor parte del contenido.

Esta es una respuesta muy larga y espero que sea útil de alguna manera. SPC no es mi área, pero creo que estos comentarios son lo suficientemente generales como para que se apliquen aquí.

Yo diría que la ventaja más citada, la capacidad de incorporar creencias anteriores , es una ventaja débil aplicada / campos empíricos. Eso es porque necesitas cuantificar tu previo. Incluso si puedo decir "bueno, el nivel z es definitivamente inverosímil", por mi vida no puedo decirte lo que debería pasar debajo de z. A menos que los autores comiencen a publicar sus datos sin procesar en masa, mis mejores conjeturas para los anteriores son momentos condicionales tomados de trabajos anteriores que pueden o no haber sido ajustados en condiciones similares a las que enfrenta.

Básicamente, las técnicas bayesianas (al menos en un nivel conceptual) son excelentes para cuando tienes una suposición / idea / modelo fuerte y quieres llevarlo a los datos, y luego ver qué tan equivocado o no te equivocas. Pero a menudo no busca ver si tiene razón sobre un modelo en particular para su proceso de negocio; lo más probable es que no tengasmodelo, y está buscando ver qué va a hacer su proceso. No quiere sacar sus conclusiones, quiere que sus datos saquen sus conclusiones. Si tiene suficientes datos, eso es lo que sucederá de todos modos, pero en ese caso, ¿por qué molestarse con lo anterior? Tal vez eso sea demasiado escéptico y reacio al riesgo, pero nunca he oído hablar de un hombre de negocios optimista que también haya tenido éxito. No hay forma de cuantificar su incertidumbre acerca de sus propias creencias, y prefiere no correr el riesgo de estar demasiado confiado en lo incorrecto. Entonces establece un previo poco informativo y la ventaja desaparece.

Esto es interesante en el caso de SPC porque, a diferencia del marketing digital, por ejemplo, sus procesos comerciales no están siempre en un estado de flujo impredecible. Mi impresión es que los procesos comerciales tienden a cambiar de manera deliberada e incremental. Es decir, tiene mucho tiempo para construir antecedentes buenos y seguros. Pero recuerde que los antecedentes tienen que ver con propagar la incertidumbre. Dejando de lado la subjetividad, el bayesianismo tiene la ventaja de que propaga objetivamente la incertidumbre a través de procesos de generación de datos profundamente anidados. Para mí, eso es realmente para lo que sirven las estadísticas bayesianas. Y si está buscando la confiabilidad de su proceso mucho más allá del límite de "importancia" 1 en 20, parece que le gustaría tener en cuenta la mayor incertidumbre posible.

Entonces, ¿dónde están los modelos bayesianos? En primer lugar, son difíciles de implementar. Para decirlo sin rodeos, puedo enseñarle OLS a un ingeniero mecánico en 15 minutos y hacer que produzca regresiones y pruebas t en Matlab en otros 5. Para usar Bayes, primero necesito decidir qué tipo de modelo estoy ajustando, y luego vea si hay una biblioteca lista para usar en un idioma que alguien de mi compañía conozca. Si no, tengo que usar BUGS o Stan. Y luego tengo que ejecutar simulaciones para obtener incluso una respuesta básica, y eso lleva unos 15 minutos en una máquina i7 de 8 núcleos. Demasiado para la creación rápida de prototipos. Y en segundo lugar, para el momento en que obtiene una respuesta, ha pasado dos horas codificando y esperando, solo para obtener el mismo resultado que podría tener con efectos aleatorios frecuentes con errores estándar agrupados. Tal vez todo esto sea presuntuoso y equivocado y no entiendo SPC en absoluto.

Comparo el bayesianismo con un cuchillo de chef de muy alta calidad, una olla y una sartén para saltear ; el frenesí es como una cocina llena de herramientas como se ve en la televisión, como máquinas de cortar plátano y macetas de pasta con agujeros en la tapa para facilitar el drenaje . Si eres un cocinero experimentado con mucha experiencia en la cocina, de hecho, en tu propia cocina de conocimiento sustantivo, que está limpia y organizada y sabes dónde está ubicado todo, puedes hacer cosas increíbles con tu pequeña selección de Herramientas elegantes y de alta calidad. O bien, puede usar un montón de pequeñas herramientas diferentes ad-hoc *, que requieren cero habilidades para usar, para hacer una comida que sea simple, realmente no es tan mala, y tiene un par de sabores básicos que lo hacen entender. Acabas de llegar a casa de las minas de datos y tienes hambre de resultados; que cocinero eres

* Bayes es tan ad-hoc, pero menos transparente . ¿Cuánto vino entra en tu coq au vin? No tengo idea, lo miras porque eres un profesional. O bien, no puede distinguir la diferencia entre un Pinot Grigio y un Pinot Noir, pero la primera receta de Epicurious dice que use 2 tazas del rojo, así que eso es lo que va a hacer. ¿Cuál es más "ad-hoc"?

En mi humilde opinión, las estadísticas bayesianas adolecen de algunos inconvenientes que entran en conflicto con su uso generalizado (en SPC pero también en otros sectores de investigación):

1. Es más difícil obtener estimaciones en comparación con su contraparte frecuente (la mayor parte de las clases de estadísticas adoptan el enfoque frecuentista. Por cierto, sería interesante investigar si esta es la causa o el efecto de la popularidad limitada de las estadísticas bayesianas )

2. Muy a menudo, las estadísticas bayesianas imponen opciones sobre diferentes formas de abordar el mismo problema (por ejemplo, ¿cuál es el mejor previo?), No solo hacer clic y ver (de todos modos, este enfoque tampoco debería fomentarse bajo el marco frecuentista).

3. Las estadísticas bayesianas tienen algunos temas que son difíciles de manejar por estadísticos menos experimentados (p. Ej., Antecedentes inadecuados );

4. Requiere análisis de sensibilidad (generalmente evitados bajo el marco frecuentista) y excepciones para algunos temas, como el análisis de datos faltantes.

5. Tiene solo un software (loable, descargable gratis) disponible para el cálculo.

6. Se necesita más tiempo para ser un investigador autónomo con bayesiano que con herramientas frecuentistas.

Una razón es que las estadísticas bayesianas quedaron fuera de la corriente principal hasta alrededor de 1990. Cuando estudiaba estadísticas en la década de 1970, era casi una herejía (no en todas partes, sino en la mayoría de los programas de posgrado). No ayudó que la mayoría de los problemas interesantes fueran intratables. Como resultado, casi todos los que enseñan estadísticas hoy (y revisan artículos para revistas y diseñan planes de estudio) reciben capacitación como frecuentadores. Las cosas comenzaron a cambiar alrededor de 1990 con la popularización de los métodos de Markov Chain Monte Carlo (MCMC) que gradualmente están llegando a paquetes como SAS y Stata. Personalmente, creo que serán mucho más comunes en 10 años, aunque en aplicaciones especializadas (SPC) pueden no tener mucha ventaja.

Un grupo que está trabajando hace que el análisis bayesiano esté más ampliamente disponible es el grupo que desarrolla el paquete STAN (mc-stan.org).