Importancia estadística de los cambios a lo largo del tiempo en un elemento Likert de 5 puntos

9

Contexto:

Tengo dos conjuntos de datos del mismo cuestionario realizado durante dos años. Cada pregunta se mide utilizando una escala de 5 Likert.

Q1: esquema de codificación

Por el momento, he codificado mis respuestas en un intervalo [0, 1], con 0 que significa "respuesta más negativa", 1 que significa "respuesta más positiva" y otras respuestas espaciadas de manera uniforme.

  • ¿Cuál es el "mejor" esquema de codificación para usar en la escala Likert?

Me doy cuenta de que esto podría ser un poco subjetivo.

P2: Importancia a través de los años.

  • ¿Cuál es la mejor manera de determinar si hay un cambio estadísticamente significativo en los dos años?

Es decir, mirando los resultados de la pregunta 1 para cada año, ¿cómo puedo saber si la diferencia entre el resultado de 2011 y el resultado de 2010 es estadísticamente significativa? Tengo un vago recuerdo de la utilidad de la prueba t de Student aquí, pero no estoy seguro.

Mac
fuente

Respuestas:

7

1. Esquema de codificación

En términos de evaluar la significación estadística utilizando una prueba t, lo que importa son las distancias relativas entre los puntos de la escala. Por lo tanto, (0, 0.25, 0.5, 0.75, 1) es equivalente a (1, 2, 3, 4, 5). Desde mi experiencia, un esquema de codificación de igual distancia, como los mencionados anteriormente, es el más común y parece razonable para los artículos Likert. Si explora una escala óptima, es posible que pueda derivar un esquema de codificación alternativo.

2. Prueba estadística

La pregunta de cómo evaluar las diferencias grupales en un elemento Likert ya ha sido respondida aquí .

El primer problema es si puede vincular observaciones a través de los dos puntos de tiempo. Parece que tuviste una muestra diferente. Esto lleva a algunas opciones:

  • Prueba t de grupos independientes : esta es una opción simple; también prueba las diferencias en las medias grupales; los puristas argumentarán que el valor p puede no ser del todo exacto; sin embargo, dependiendo de sus propósitos, puede ser adecuado.
  • Prueba bootstrap de las diferencias en las medias grupales : si aún desea probar las diferencias entre las medias grupales pero se siente incómodo con la naturaleza discreta de la variable dependiente, puede usar una rutina bootstrap para generar intervalos de confianza a partir de los cuales podría sacar conclusiones sobre los cambios en las medias grupales .
  • Prueba U de Mann-Whitney (entre otras pruebas no paramétricas): dicha prueba no asume la normalidad, pero también está probando una hipótesis diferente.
Jeromy Anglim
fuente
así que, en pocas palabras, ¿no ve nada de malo con lo que propuse (codificación de igual distancia, prueba de significancia de la prueba t), aparte de que hay otras opciones que pueden ser más precisas?
Mac
@ Mac En mi opinión, desde una perspectiva más aplicada, es un enfoque simple, fácil de entender, fácil de comunicar y, en general, razonable. Sin embargo, a menudo vale la pena considerar medir construcciones de interés utilizando escalas en lugar de elementos individuales.
Jeromy Anglim
convenido. Sin embargo, creo que lo que necesito hará esto. ¡Muchas gracias!
Mac
acaba de señalar que la prueba de la t puede ser muy sensible a las diferencias en la varianza, por lo que probablemente sería algo para comprobar antes de tomar su decisión final
richiemorrisroe
@Mac / cc @richiemorrisroe Desde mi punto de vista, aparte del supuesto de homocedasticidad (que es algo eludido con la prueba t de Welch), el problema se debe principalmente a las distribuciones de respuesta asimétrica (efecto techo o piso), que a menudo surgen cuando se usan elementos Likert.
chl
3

Wilcoxon Ranksum Test, también conocido como Mann-Whitney, es el camino a seguir en el caso de los datos ordinales. La solución de arranque también es elegante, aunque no es el camino "clásico". El método Bootstrapping también puede ser valioso en caso de que apunte a otras cosas como el análisis factorial. En caso de análisis de regresión, puede elegir probit ordenado o logit ordenado como especificación del modelo.

Por cierto: si su escala tiene un rango mayor (> 10 valores por variable), puede usar los resultados como una variable métrica, lo que hace que una prueba t sea una opción segura. Tenga en cuenta que esto está un poco sucio y que algunos pueden considerarlo trabajo del diablo.

stephan


fuente
1
¿Podría ampliar cómo Bootstrap proporcionaría un enfoque más interesante para el análisis factorial?
chl
Me interesaría saber más acerca de por qué la prueba de Mann-Whitney se vería favorecida sobre una prueba t aquí.
whuber