¿Cómo realizar la confiabilidad entre evaluadores con múltiples evaluadores, diferentes evaluadores por participante y posibles cambios a lo largo del tiempo?

Los participantes fueron calificados dos veces, con las 2 clasificaciones separadas por 3 años. Para la mayoría de los participantes, las evaluaciones fueron hechas por diferentes evaluadores, pero para algunos (<10%) el mismo evaluador realizó ambas evaluaciones. Hubo 8 evaluadores en total, con 2 clasificaciones en ambos puntos de tiempo.

Ahora, dado que las calificaciones eran de un aspecto de habilidad con un valor hipotético "correcto", entonces el acuerdo absoluto entre los evaluadores es de interés, más que de consistencia. Sin embargo, dado que las clasificaciones se tomaron con 3 años de diferencia, podría haber (y probablemente hubo) algún cambio real en la capacidad.

• ¿Cuál sería la mejor prueba de fiabilidad en este caso?
• Me estoy inclinando hacia una correlación intraclase, pero ¿es ICC1 lo mejor que puedo hacer con estos datos?

¿Cómo planea dar cuenta del hecho de que algunas calificaciones fueron realizadas por el mismo evaluador? Fuera de mi cabeza, no puedo pensar en ninguna medida que tenga eso en cuenta cuando no se hace de manera consistente. Después de todo, si compara el mismo evaluador dos veces, está buscando consistencia; si comparas dos evaluadores, estás buscando un acuerdo. Entonces, cuando dice que desea evaluar la "confiabilidad", no está totalmente claro lo que está tratando de evaluar.

Si cree que es probable que el nivel de habilidad de los sujetos haya cambiado, también es importante considerar cómo puede explicar ese hecho. ¿Tiene alguna medida estándar de oro para comparar a los evaluadores?

Entonces, en resumen, antes de que pueda evaluar qué tan confiables son los evaluadores, debe responder dos preguntas clave:

• ¿Cómo puede cuantificar y corregir el cambio entre los puntos de tiempo atribuidos a los cambios legítimos en la capacidad, en lugar de una mala consistencia en la calificación?
• ¿Está interesado principalmente en la frecuencia con la que los evaluadores están de acuerdo entre sí, o en qué tan consistentemente aplican las calificaciones?