Sistema de votación que utiliza la precisión de cada votante y la incertidumbre asociada.

Digamos que tenemos una pregunta simple de "sí / no" a la que queremos saber la respuesta. Y hay N personas "votando" por la respuesta correcta. Cada votante tiene un historial: una lista de 1 y 0, que muestra si tenían razón o no sobre este tipo de preguntas en el pasado. Si asumimos la historia como una distribución binomial, podemos encontrar el rendimiento promedio de los votantes en tales preguntas, su variación, CI y cualquier otro tipo de métrica de confianza.

Básicamente, mi pregunta es: ¿cómo incorporar información de confianza en el sistema de votación ?

Por ejemplo, si consideramos solo el rendimiento medio de cada votante, entonces podemos construir un sistema de votación ponderado simple:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Es decir, podemos sumar los pesos de los votantes multiplicados por (para "sí") o por (para "no"). Tiene sentido: si el votante 1 tiene un promedio de respuestas correctas igual a , y el votante 2 tiene solo , entonces, probablemente, el voto de la primera persona debería considerarse como más importante. Por otro lado, si la primera persona ha respondido solo 10 preguntas de este tipo, y la segunda persona ha respondido 1000 de esas preguntas, tenemos mucha más confianza en el nivel de habilidad de la segunda persona que en las de la primera, es posible que la primera persona haya tenido suerte , y después de 10 respuestas relativamente exitosas, continuará con resultados mucho peores. $+1$ $-1$ $.9$ $.8$

Entonces, una pregunta más precisa puede sonar así: ¿existe una métrica estadística que incorpore ambos: fuerza y confianza sobre algún parámetro?

accuracy uncertainty weighted-mean voting-system amigo
fuente

Respuestas:

Debe considerar la experiencia de un votante como una variable latente de su sistema. Entonces podrá resolver su problema con la inferencia bayesiana . Una representación como modelo gráfico podría ser así:

modelo_grafico

Denotemos las variables para la respuesta verdadera, para el voto del votante y para su historia. Supongamos que también tiene un parámetro de "experiencia" tal que . Si pone un poco de prioridad en estos ejemplo, un Beta anterior, debería poder usar el teorema de Bayes para inferir , y luego integrar sobre para calcular $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Estos sistemas son difíciles de resolver. Puede usar el algoritmo EM como una aproximación, o usar un esquema de maximización de probabilidad completo para realizar una inferencia bayesiana exacta.

Eche un vistazo a este documento Inferencia Variacional para Crowdsourcing , Liu, Peng e Ihler 2012 (¡ presentado ayer en NIPS! ) Para obtener algoritmos detallados para resolver esta tarea.

Emile
fuente

Gracias por su respuesta, pero ¿podría ser un poco más específico al respecto? En particular, ¿qué quieres decir con experiencia? Si es solo una probabilidad de que la persona responda correctamente, entonces ya tenemos su estimación como un promedio de respuestas anteriores, por lo que no es latente. Si quiere decir que la experiencia incorpora el promedio y la confianza sobre nuestra estimación, ¿cómo podemos propagar las probabilidades para obtener experiencia y resultados?

amigo

Sí, puede representar tanto el promedio como la confianza con esta variable de "experiencia" y la inferencia bayesiana. He agregado algunas explicaciones y una referencia a mi respuesta. Espero que ayude !

Emile