Detectar patrones de trampa en un examen de preguntas múltiples

PREGUNTA:

Tengo datos binarios en las preguntas del examen (correcto / incorrecto). Algunas personas podrían haber tenido acceso previo a un subconjunto de preguntas y sus respuestas correctas. No sé quién, cuántos o cuáles. Si no hubiera trampa, suponga que modelaría la probabilidad de una respuesta correcta para el ítem $i$ como , donde representa la dificultad de la pregunta es la capacidad latente del individuo. Este es un modelo de respuesta de ítem muy simple que se puede estimar con funciones como ltm's rasch () en R. Además de las estimaciones (donde indexa individuos) de la variable latente, tengo acceso a estimaciones separadasβ i z z j j q$logit((p_i = 1 | z)) = \beta_i + z$$\beta_i$$z$$\hat{z}_j$$j$$\hat{q}_j$ de la misma variable latente que se derivaron de otro conjunto de datos en el que no era posible hacer trampa.

El objetivo es identificar a las personas que probablemente hicieron trampa y los artículos que engañaron. ¿Cuáles son algunos enfoques que podría tomar? Además de los datos sin procesar, , y están disponibles, aunque los dos primeros tendrán algún sesgo debido a trampas. Idealmente, la solución vendría en forma de agrupación / clasificación probabilística, aunque esto no es necesario. Las ideas prácticas son muy bienvenidas, al igual que los enfoques formales. z j q$\hat{\beta}_i$$\hat{z}_j$$\hat{q}_j$

Hasta ahora, he comparado la correlación de puntajes de preguntas para pares de individuos con puntajes más altos vs. más bajos (donde es un índice aproximado de la probabilidad de que hicieron trampa). Por ejemplo, clasifiqué a los individuos por y luego tracé la correlación de pares sucesivos de puntajes de preguntas de los individuos. También intenté trazar la correlación media de puntajes para individuos cuyos valores eran mayores que el cuantil de , en función de . No hay patrones obvios para ninguno de los enfoques. q j - z j q j - z j q j - z jnth q j - z j$\hat{q}_j -\hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$n^{th}$$\hat{q}_j - \hat{z}_j$$n$

---

ACTUALIZAR:

Terminé combinando ideas de @SheldonCooper y el útil documento de Freakonomics que @whuber me señaló. Otras ideas / comentarios / críticas son bienvenidas.

Deje que sea ​​el puntaje binario de la persona en la pregunta . Estime el modelo de respuesta del elemento donde es el parámetro de facilidad del elemento y es una variable de habilidad latente. (Se puede sustituir un modelo más complicado; I estoy usando un 2PL en mi aplicación). Como mencioné en mi publicación original, tengo estimaciones de la variable de habilidad de un conjunto de datos separado (diferentes elementos, mismas personas) en qué trampa no fue posible. Específicamente, son estimaciones empíricas de Bayes del mismo modelo de respuesta al artículo anterior. j i l o g i t ( P r ( X i j = 1 | z j ) = β i + z j , β i z j ^ q j { y i j } ^ q $X_{ij}$$j$$i$

$$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ $\beta_i$$z_j$$\hat{q_j }$$\{y_{ij}\}$$\hat{q_j}$

La probabilidad de la puntuación observada , condicional a la facilidad del elemento y la capacidad de la persona, se puede escribir donde es la probabilidad predicha de una respuesta correcta, e es el logit inverso. Entonces, condicional a las características del elemento y la persona, la probabilidad conjunta de que la persona tenga las observaciones es y de manera similar, la probabilidad conjunta de que el elemento tenga las observaciones p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β i , ^ q j ) ) 1 - $x_{ij}$

$$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$$ilogit$$j$$x_j$ $$p_j = \prod_i p_{ij},$$ $i$$x_i$ esLas personas con los valores más bajos son aquellas cuyos puntajes observados son condicionalmente menos probables: posiblemente son tramposos. Los elementos con los valores más bajos son aquellos que son condicionalmente menos probables: son los posibles elementos filtrados / compartidos. Este enfoque se basa en los supuestos de que los modelos son correctos y que las puntuaciones de la persona no están condicionadas a las características de la persona y el elemento. Sin embargo, una violación de la segunda suposición no es problemática, siempre que el grado de correlación no varíe entre las personas, y el modelo para podría mejorarse fácilmente (por ejemplo, agregando características adicionales de persona o elemento). $$p_i = \prod_j p_{ij}.$$ $p_j$$p_j$$j$$p_{ij}$

Un paso adicional que intenté es tomar r% de las personas menos probables (es decir, personas con el r% más bajo de valores de p_j ordenados), calcular la distancia media entre sus puntajes observados x_j (que debería correlacionarse con personas con r baja, que son posibles tramposos), y graficarlo para r = 0.001, 0.002, ..., 1.000. La distancia media aumenta para r = 0.001 a r = 0.025, alcanza un máximo y luego disminuye lentamente a un mínimo en r = 1. No es exactamente lo que esperaba.

Enfoque ad hoc

$\beta_i$$i$$j$$\beta_i + q_j$$q_j$es solo un desplazamiento constante) y el umbral en algún lugar razonable (por ejemplo, p (correcto) <0.6). Esto proporciona un conjunto de preguntas que es poco probable que el alumno responda correctamente. Ahora puede usar la prueba de hipótesis para ver si esto se viola, en cuyo caso el estudiante probablemente hizo trampa (suponiendo, por supuesto, que su modelo sea correcto). Una advertencia es que si hay pocas preguntas de este tipo, es posible que no tenga suficientes datos para que la prueba sea confiable. Además, no creo que sea posible determinar qué pregunta hizo trampa, porque siempre tiene un 50% de posibilidades de adivinar. Pero si asume además que muchos estudiantes tuvieron acceso (y engañaron) al mismo conjunto de preguntas, puede compararlas entre los estudiantes y ver qué preguntas se respondieron con más frecuencia que oportunidad.

$q_j$$\beta_i$

Enfoque basado en principios

$c_j$$l_i$$a_{ij}$$j$$i$$c_j = 1$$l_i = 1$$a_{ij}$$logit(\beta_i + q_j)$$a_{ij}$$c_j$$l_i$

Si desea entrar en algunos enfoques más complejos, puede mirar los modelos de teoría de respuesta al ítem. Luego podría modelar la dificultad de cada pregunta. Creo que los estudiantes que obtuvieron los elementos difíciles correctos y se perdieron los más fáciles tendrían más probabilidades de hacer trampa que los que hicieron lo contrario.

Ha pasado más de una década desde que hice este tipo de cosas, pero creo que podría ser prometedor. Para más detalles, consulte los libros de psicometría.