Obtención de antecedentes de expertos

¿Cómo debo obtener distribuciones previas de expertos al ajustar un modelo bayesiano?

John Cook da algunas recomendaciones interesantes. Básicamente, obtenga los percentiles / cuantiles (¡no medios o parámetros de escala oscuros!) De los expertos y ajústelos con la distribución adecuada.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Actualmente estoy investigando el método de la ruleta de prueba para mi tesis de maestría como técnica de obtención. Este es un método gráfico que le permite a un experto representar su distribución de probabilidad subjetiva para una cantidad incierta.

A los expertos se les dan contadores (o lo que se puede considerar como fichas de casino) que representan densidades iguales cuyo total sumaría hasta 1, por ejemplo 20 fichas de probabilidad = 0.05 cada una. Luego se les indica que los organicen en una cuadrícula preimpresa, con contenedores que representan los intervalos de resultados. Cada columna representaría su creencia de la probabilidad de obtener el resultado bin correspondiente.

Ejemplo: se le pide a un alumno que prediga la nota en un examen futuro. La siguiente figura muestra una cuadrícula completa para la obtención de una distribución de probabilidad subjetiva. El eje horizontal de la cuadrícula muestra los posibles contenedores (o intervalos de marca) que se le pidió al estudiante que considerara. Los números en la fila superior registran el número de fichas por contenedor. La cuadrícula completada (usando un total de 20 fichas) muestra que el estudiante cree que hay un 30% de posibilidades de que la marca esté entre 60 y 64.9.

Algunas razones a favor de usar esta técnica son:

1. Muchas preguntas sobre la forma de la distribución de probabilidad subjetiva del experto pueden responderse sin la necesidad de plantear una larga serie de preguntas al experto: el estadístico simplemente puede leer la densidad por encima o por debajo de cualquier punto, o entre dos puntos.

2. Durante el proceso de obtención, los expertos pueden moverse por los chips si no están satisfechos con la forma en que los colocaron inicialmente, por lo que pueden estar seguros del resultado final que se presentará.

3. Obliga al experto a ser coherente en el conjunto de probabilidades que se proporcionan. Si se utilizan todas las fichas, las probabilidades deben sumar una.

4. Los métodos gráficos parecen proporcionar resultados más precisos, especialmente para los participantes con niveles modestos de sofisticación estadística.

Obtener antecedentes es un asunto complicado.

Los métodos estadísticos para obtener distribuciones de probabilidad y obtener distribuciones de probabilidad son guías prácticas bastante buenas para la obtención previa. El proceso en ambos documentos se describe a continuación:

1. antecedentes y preparación;
2. identificar y reclutar a los expertos;
3. motivación y capacitación de los expertos;
4. estructuración y descomposición (por lo general, decidir con precisión qué variables se deben obtener, y cómo obtener distribuciones conjuntas en el caso multivariante);
5. la provocación misma.

Por supuesto, también revisan cómo la obtención da como resultado información que puede ajustarse a las distribuciones o definirlas (por ejemplo, en el contexto bayesiano, distribuciones Beta ), pero lo que es más importante, también abordan las trampas comunes en el modelado del conocimiento experto (anclaje, distribuciones estrechas y de cola pequeña, etc.).

Recomiendo dejar que el experto en la materia especifique la media o el modo del anterior, pero no dudaría en ajustar lo que dan como escala . La mayoría de las personas no son muy buenas para cuantificar la varianza.

Y definitivamente no dejaría que el experto determine la familia de distribución, en particular el grosor de la cola. Por ejemplo, suponga que necesita una distribución simétrica para un previo. Nadie puede especificar su creencia subjetiva tan finamente como para distinguir una distribución normal de, por ejemplo, una distribución de Student-t con 5 grados de libertad. Pero en algunos contextos, el t (5) previo es mucho más robusto que el previo normal. En resumen, creo que la elección del grosor de la cola es una cuestión estadística técnica, no una cuestión de cuantificar la opinión de los expertos.

Esta interesante pregunta es el tema de algunas investigaciones en ACERA . El investigador principal es Andrew Speirs-Bridge, y su trabajo es eminentemente apto para google :)