Cómo medir la confiabilidad de una clasificación de consenso (problema del libro de Kemeny-Snell)

Supongamos que se pide a expertos que clasifiquen un conjunto de objetos en orden o preferencia. Permitir lazos en los rankings.$k$$n$

John Kemeny y Laurie Snell en su libro de 1962 "Modelos matemáticos en las ciencias sociales" proponen resolver el siguiente problema:

PROYECTO . Desarrolle una medida de la confiabilidad de una clasificación consensuada por expertos. Por ejemplo, esto puede basarse en el mayor cambio posible que se puede lograr al cambiar la clasificación de un solo experto. (Se debe prestar atención a la posibilidad de múltiples clasificaciones de consenso). Demuestre algunos teoremas sobre los consensos más y menos confiables posibles para una determinada .$1$$k$$k$

El libro da notación para las clasificaciones y el método para la agregación de clasificaciones (es decir, obtener una clasificación "colectiva" de muchos "individuos"). Pero no se dio respuesta para el problema anterior.

Primero, pensé en el coeficiente de concordancia de Kendall$W$ , pero parece que no encaja. Cualquier idea es bienvenida!

Como medida de confiabilidad de una clasificación consensuada por expertos, puede usar el -extendido por Emond y Mason. Para obtener explicaciones extensas, visite: http://onlinelibrary.wiley.com/doi/10.1002/mcda.313/full o http://www.sciencedirect.com/science/article/pii/S0377221715008048$k$$\tau$