Obteniendo antecedentes ... ¡con dinero!

Supongamos que tengo 'expertos', de la que me gustaría obtener una distribución a priori sobre alguna variable . Me gustaría motivarlos con dinero real . La idea es obtener los antecedentes, observar realizaciones de la variable aleatoria , luego repartir algún 'monedero' predeterminado entre los expertos en función de qué tan bien coinciden sus antecedentes con la evidencia. ¿Cuáles son los métodos sugeridos para esta última parte, mapeando los antecedentes y la evidencia en un vector de pago?$k$$X$$n$$X$

En el espíritu de mi comentario anterior, creo que lo correcto a considerar es un mercado de predicción . Debe vender valores que tengan una rentabilidad fija para la precisión de las predicciones. Puede usar medidas estándar de distancia probabilística, como las mencionadas por Daniel Johnson en su respuesta. Pero el punto es arreglar los pagos en forma de valores y fijar estándares de medida con anticipación (preferiblemente solo use eventos binarios, como sucedió o no). De esa manera, si alguien está dispuesto a pagar X por un valor que paga $ 1.00 si el evento que cubre realmente sucede, usted sabe que asigna la probabilidad X al evento que cubre el valor. La liquidez del mercado se encargará de cómo se distribuyen los valores entre los expertos.$A$$\$$

Creo que esto es superior a tener un vector de pago fijo como el que podría tener para un torneo de golf. La razón es que en un torneo de golf, lo único que importa es qué tan bien lo haces contra los competidores, no tu puntaje general. Cuando quieres incentivar las creencias previas más precisas posibles, no quieres que las personas piensen que solo tienen que superarse unas a otras para obtener el premio ... quieres que estén dispuestas a apostar su propio dinero para obtener pagos porque entonces ellos mismos deben creer en su evaluación previa, no solo en que su evaluación previa es mejor que la de otra persona.

La palabra clave a buscar es reglas de puntuación : estas son funciones para evaluar y recompensar las predicciones probabilísticas, y ha habido bastante trabajo sobre el tema, desde los años 50. Lo principal que debe verificar es que sea correcto , es decir, que el experto del que está obteniendo el previo tiene el incentivo para ser honesto.

Hay muchas reglas de puntuación adecuadas posibles: una de las más simples es la regla de puntuación logarítmica: recompensas al experto con una (función lineal de) la probabilidad de registro que asignaron al evento.

Si la persona que paga el dinero conoce la distribución verdadera, una estadística natural a considerar sería la entropía relativa de la distribución anterior y la verdadera. Entonces el pago podría ser una función monótona decreciente de la entropía relativa.

Sin embargo, supongo que está interesado en el caso en el que se desconoce la distribución real y los pagos deben decidirse utilizando solo los puntos de datos. Una forma de hacerlo es considerar la suma de la probabilidad de los puntos de datos en cada distribución previa. Entonces, más formalmente, .puntaje ( j anterior  ) = ∑ n i = 1 P j ( X = x i$n$$\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

Otro método sería muy similar a la primera, donde asumí sabíamos que la distribución de . Como tenemos puntos de datos, podemos usar esta información para aproximar la distribución verdadera usando la estimación de densidad del núcleo . La entropía relativa se puede calcular entre la distribución estimada y cada uno de los previos proporcionados por los expertos.$X$$n$