¿Qué métodos de confiabilidad entre evaluadores son los más apropiados para datos ordinales o de intervalo? Creo que "Probabilidad conjunta de acuerdo" o "Kappa" están diseñados para datos nominales. Mientras que "Pearson" y "Spearman" pueden usarse, se usan principalmente para dos evaluadores...
Si has estado leyendo los boletines de la comunidad últimamente, es probable que hayas visto The Hunting of the Snark, una publicación en el blog oficial de StackExchange de Joel Spolsky, CEO de la red StackExchange. Analiza un análisis estadístico realizado en una muestra de comentarios SE para...
Tengo múltiples codificadores independientes que están tratando de identificar eventos en una serie de tiempo, en este caso, viendo videos de conversaciones cara a cara y buscando comportamientos no verbales particulares (por ejemplo, cabezazos) y codificando el tiempo y la categoría de cada uno....
Alrededor de 600 estudiantes tienen un puntaje en una evaluación extensa, que se puede suponer que tiene buena fiabilidad / validez. La evaluación se califica entre 100 y es una prueba de opción múltiple marcada por computadora. Esos 600 estudiantes también tienen puntajes en una segunda...
Wikipedia sugiere que una forma de ver la confiabilidad entre evaluadores es usar un modelo de efectos aleatorios para calcular la correlación intraclase . El ejemplo de correlación intraclase habla de mirar σ2ασ2α+ σ2ϵσα2σα2+σϵ2\frac{\sigma_\alpha^2}{\sigma_\alpha^2+\sigma_\epsilon^2} de un...
12 maestros están enseñando a 600 estudiantes. Las 12 cohortes impartidas por estos maestros varían en tamaño de 40 a 90 estudiantes, y esperamos diferencias sistemáticas entre las cohortes, ya que los estudiantes graduados fueron asignados desproporcionadamente a cohortes particulares, y la...
Coeficiente de correlación de Matthews (MCCMCC\textrm{MCC}) es una medida para medir la calidad de una clasificación binaria ([Wikipedia] [1]). MCCMCC\textrm{MCC}La formulación se da para la clasificación binaria utilizando verdaderos positivos (TPTPTP), falsos positivos (FPFPFP), falsos negativos...
Antecedentes: Ocho médicos calificaron a los mismos 54 pacientes en una medida de persuasión (escala Likert 1-7). La puntuación media en la medida de persuasión eventualmente será la medida de resultado de mi experimento. La fiabilidad entre evaluadores se cuantificó como el coeficiente de...
Tengo un conjunto de datos de más de 11,000 artículos distintos, cada uno de los cuales fue clasificado en una escala nominal por al menos 3 evaluadores diferentes en Mechanical Turk de Amazon . 88 evaluadores diferentes proporcionaron juicios para la tarea, y ningún evaluador completó más de 800...
Los participantes fueron calificados dos veces, con las 2 clasificaciones separadas por 3 años. Para la mayoría de los participantes, las evaluaciones fueron hechas por diferentes evaluadores, pero para algunos (<10%) el mismo evaluador realizó ambas evaluaciones. Hubo 8 evaluadores en total,...
He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, si elimino los valores de NA,...