¿Cómo se graficarían los resultados del orden de rango subjetivo?

17

Estoy buscando la forma de visualizar clasificaciones subjetivas, separadas de mis pruebas no paramétricas.

Le he pedido a 12 participantes que clasifiquen 8 elementos diferentes de acuerdo con diferentes criterios subjetivos (clasificaciones separadas para cada uno). Para cualquier conjunto individual de clasificaciones, estoy buscando una buena manera de visualizar las tendencias de alto nivel de las clasificaciones.

He intentado tanto gráficos de barras como de radar en las clasificaciones promedio, y he visto a otra persona usar una gráfica de dispersión / globo sobre el número de respuestas por clasificación, pero no estoy muy seguro de qué transmite la mejor visión general. Puedo usar las 8 clasificaciones medias o las 8 cuentas de cada clasificación por elemento.

Editar:

Por ejemplo: cada columna es un elemento, cada fila es la clasificación de una persona de cada uno de los ocho elementos. No es un acuerdo particularmente fuerte en este ejemplo, pero en general me gustaría entender la mejor manera de transmitir las tendencias generales.

                        Item:
            A   B   C   D   E   F   G   H
Rater:  
  1         6   8   1   7   3   4   2   5
  2         1   3   8   7   6   5   2   4
  3         5   8   7   6   1   4   2   3
  4         5   8   7   6   4   2   1   3
  5         1   2   8   7   4   3   5   6
  6         1   7   8   5   6   2   4   3
  7         5   1   8   4   7   3   6   2
  8         4   2   8   7   6   1   5   2
  9         6   3   8   4   7   1   5   2
  10        3   2   8   7   4   1   5   6
  11        2   3   7   8   1   5   4   5
  12        8   5   6   7   2   3   1   4
Jesse
fuente
Podría ayudar si pudiera enumerar algunos de sus datos. Además, ¿qué software es probable que utilice?
gung - Restablece a Monica
Agregué una matriz de ejemplo y probablemente trazaré en Excel.
Jesse
¿Está tratando de mostrar los rangos de artículos o el acuerdo entre evaluadores (o ambos)?
whuber
1
Estaba preguntando específicamente sobre los rangos de artículos, pero si hay una buena manera de mostrar un acuerdo entre evaluadores que no sea algo diferente a la W de Kendall, también mejor.
Jesse
Puede trazar el CDF empírico de cada columna. Esto se vería como un (todo un lío) de curvas ROC. Sin embargo, no estoy seguro de qué saltaría si hicieras esto.
shabbychef

Respuestas:

8

He hecho algo similar para visualizar clasificaciones similares. El método que utilicé me dio una instantánea rápida de cómo se relacionaban las clasificaciones, nada más. Mi solución utilizó minigráficos de Excel 2010 para crear una vista de múltiplos pequeños de las clasificaciones (esto se puede hacer en otras versiones de Excel, pero requiere un poco más de trabajo). Además, generalmente uso la funcionalidad de tabla de Excel solo para acelerar las cosas.

  1. Transponga su matriz para que las filas contengan todos los valores por elemento calificado.
  2. Si el rango 1 es el mejor, invierte tus rangos para que 1 = 8,2 = 7 ... esto solo te ayuda a visualizar mejor las columnas del gráfico (en lugar del espacio en blanco).
  3. Suma los resultados de los evaluadores de cada pregunta. Luego ordena por este total. Esto pondrá el elemento con los mejores puntajes generales primero y los peores puntajes generales al final. Esta clasificación lo ayudará a clasificar visualmente los gráficos cuando el patrón general no sea obvio (como fue el caso en los datos de muestra).
  4. Inserte Sparklines usando sus datos de clasificación (sin la columna de totales) al lado de su tabla de datos. Visualmente, cuantas más / más barras haya, mejor será la clasificación general.

No hay nada particularmente analítico sobre este enfoque, pero es una forma bastante rápida de visualizar los datos.

Rankings subjetivos

Tenga en cuenta que si no tiene Excel 2010, puede crear gráficos de columnas de tamaño de celda despojado para cada fila que se vean casi iguales. O bien, puede usar un complemento de terceros para crearlos.

EDITAR: Tabla y gráfico utilizando la sugerencia de Gung para la medida promedio. Como se señaló, dado que la escala es similar, se agregó al gráfico como un punto de comparación adicional (utilicé el gris para ayudar a diferenciarlo de los gráficos de datos sin procesar).

ingrese la descripción de la imagen aquí

dav
fuente
3
+1, esta es una solución realmente agradable y simple para esta situación. Una pequeña sugerencia que haría es usar promedios en lugar de sumas en el paso 3. Esto realmente no cambiará nada, pero vuelve a poner el total en la escala original, lo que puede facilitar la interpretación del valor.
gung - Restablece a Monica
@gung, gracias por los comentarios. Creo que usar los promedios realmente funciona bien (como arriba). Nunca me gustó usar los totales, pero no había pensado demasiado en una buena alternativa.
dav
2

Haría esto en forma de una tabla de golpes. Parece bastante desordenado, por lo que trabajaría con los colores para tratar de ayudarlo.

Las minigráficas sugeridas por @dav realmente no permiten una comparación entre productos.

ingrese la descripción de la imagen aquí

Jon Peltier
fuente
Creo que este gráfico sería excelente si los tamaños de punto se escalaran en orden inverso de 8 (el más pequeño) a 1 (el más grande). Creo que las tendencias podrían saltar más de esa manera.
Brandon Bertelsen
1

Sé que esta pregunta tiene siete años y veo que el póster es AWOL, pero agradezco una pregunta que incluya datos ...

Parece que las tendencias de calificación del producto son el problema y no las tendencias de los evaluadores individuales. En ese caso, puede tener una idea de las tendencias de alto nivel al trazar los medios y el intervalo de confianza para cada producto.

ingrese la descripción de la imagen aquí

Al menos podemos ver que C y D parecen peores que los demás (suponiendo que 8 es la peor clasificación). Quizás A, B y C tienen más desacuerdo que los demás.

Si los evaluadores individuales son importantes en la transmisión, puede usar diferentes marcas y colores para los puntos de cada evaluador.

xan
fuente