Trabajo para una organización que supervisa alrededor de 180 escuelas en todo el país. Regularmente recopilamos datos de resultados de estas escuelas y los clasificamos. Me han pedido que haga una encuesta en la oficina nacional (alrededor de 100 personas) para determinar cuáles son las mejores y las peores escuelas percibidas , en base a la impresión de calidad de la escuela no basada en datos del personal.
Alguna información adicional:
- No todos los miembros del personal están familiarizados con todas las escuelas. Cuando se le pide que clasifique una escuela, "No sé nada sobre esta escuela" debe ser una opción.
- Parte del personal trabaja con un subconjunto específico de escuelas, por lo que el conocimiento de estos miembros del personal es excelente para estas escuelas específicas.
Mi primer enfoque sería generar aleatoriamente conjuntos de 10 o más escuelas, con cada escuela en 6 o más conjuntos. Luego pida a cada miembro del personal que clasifique cada conjunto, indicando qué escuelas son desconocidas. Entonces podría promediar el ranking de cada escuela en sus conjuntos y usarlo como el ranking global.
¿Es viable el método descrito anteriormente? ¿Hay una mejor manera? Si esto funcionara, ¿cuántos puntos de datos necesito para cada escuela para que la clasificación agregada sea representativa?
fuente
Respuestas:
Podría usar un modelo tipo Bradley-Terry-Luce basado en comparaciones por pares. Genere aleatoriamente (o de otro modo) un grupo de pares de escuelas y haga que cada miembro del personal mire a varios pares y le diga cuál de ellos es mejor (o un "No sé" si no están familiarizados con una o ambas escuelas ) Luego, conecte estos datos al modelo para obtener la clasificación.
Hay un paquete BradleyTerry2 para R que se adapta a estos modelos.
fuente