Prueba de proporciones y clasificador binario

10

Tengo una máquina prototipo que produce piezas.

En una primera prueba, la máquina produce partes y un clasificador binario me dice que partes son defectuosas ( d_1 <N_1 , generalmente d_1 / N_1 <0.01 y N_1 \ approx10 ^ 4 ) y las partes N_1-d_1 son buenas.d 1 d 1 < N 1 d 1 / N 1 < 0.01 N 110 4 N 1 - d 1N1d1d1<N1d1/N1<0.01N1104N1d1

Luego, un técnico realiza algunos cambios en la máquina para disminuir la cantidad de piezas defectuosas.

En una segunda prueba y después, la máquina modificada produce N2 partes y el mismo clasificador binario (sin tocar) me dice que d2 partes d_2 son defectuosas, de todos modos d2/N2 es bastante similar a d1/N1 .

Al técnico le gustaría saber si sus cambios son efectivos.

Suponiendo que los clasificadores son perfectos (su sensibilidad es del 100% y su especificidad es del 100%), puedo realizar una prueba de proporciones (con R, simplemente escribo prop.test(c(d1,d2),c(N1,N2))).

Pero el clasificador no es perfecto, entonces, ¿cómo puedo tener en cuenta la sensibilidad y la especificidad, ambas desconocidas, del clasificador para responder adecuadamente al técnico?

Alessandro Jacopson
fuente
¿Puedes confirmar la tasa de precisión del clasificador?
Michelle
@Michelle Sé sin error y pero no sé cuántas piezas defectuosas se clasifican erróneamente como buenas. d 2d1re2
Alessandro Jacopson
Hola de nuevo. ¿Puedes hacer una muestra aleatoria de las partes buenas de N1 y N2, por separado, para estimar la tasa de falsos positivos?
Michelle
1
Con esta información, ¿puede usar este método para comparar los cambios? onlinelibrary.wiley.com/doi/10.1002/sim.906/abstract también vea aquí ncbi.nlm.nih.gov/pubmed/18224558 y otra idea aquí, texto completo: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf
Michelle
2
(+1) esta es una gran pregunta!
steffen

Respuestas:

4

Así que estoy derivando esto de los primeros principios, y por lo tanto no estoy seguro de que sea correcto. Aquí están mis pensamientos:

EDITAR: Esto no estaba del todo bien antes. Lo he actualizado

  1. Dejemos que denote la diferencia esperada entre el número real de verdaderos positivos d 1 y el número de salida del clasificador binario que llamaremos ^ d 1 . Puede medir esto ejecutando su clasificador en un conjunto con etiquetas conocidas. Reste el número de positivos reales del número de positivos producidos por el clasificador, y luego divida por N para obtener α .αre1re1^norteα

  2. Entonces, una estimación puntual de la relación real de partes defectuosas viene dada por: . Es decir, el número observado de partes defectuosas, menos el número esperado de falsos positivos, más el número esperado de falsos negativos.re1norte1^=re1+αnorte1norte1

  3. Del mismo modo, re2norte2^=re2+αnorte2norte2

  4. Entonces, ahora hagamos una prueba de utilería. En la prueba de apoyo estándar, primero calculamos la relación agrupada utilizada como valor nulo: . Así que aquí, ponemos nuestras estimaciones puntuales de ^ d 1pag=pag1norte1+pag2norte2norte1+norte2 y^d2re1norte1^ para obtener:p=d1+d2+α(N1+N2)re2norte2^pag=re1+re2+α(norte1+norte2)norte1+norte2

  5. Y luego el error estándar es el habitual: pag(1-pag)(1norte1+1norte2)

  6. Y la estadística de prueba es la misma: z=re1norte1-re2norte2smi

Algunas reflexiones sobre la interpretación:

  • El modelo puede producir valores imaginarios para error estándar. Esto sucederá cuando , que será el caso cuando el número de errores que esperamos que produzcan los clasificadores exceda el número que observamos. Por ejemplo, supongamos que esperamos que nuestro clasificador produzca un promedio de 5 positivos incluso cuando se le da una muestra que no contiene positivos. Si observamos 4 positivos, entonces es como si no hubiera señal: nuestro resultado es indistinguible del ruido producido por el clasificador. En este caso, no deberíamos rechazar la hipótesis nula, creo.pag<0 0

  • Otra forma de pensar en esto es que, si el número de partes defectuosas está dentro del margen de error para el clasificador, entonces, por supuesto, no podemos decir si hay una diferencia: ¡ni siquiera podemos decir si alguna parte es defectuosa!

Incorporación de errores en la estimación de :α

  • Pensé en esto un poco más, y creo que hay varias formas de hacerlo, pero esencialmente desea obtener una estimación de la distribución de . Lo ideal sería hacer esta compra repitiendo su procedimiento para obtener la estimación de α en una muestra representativa de los conjuntos de datos en los que pretende utilizar este método. Si esto no es posible, puede iniciar un único conjunto de datos extrayendo muestras de él, aunque esto no es ideal a menos que su único conjunto de datos sea representativo de todos los conjuntos que le interesan.αα

Supongamos que queremos calcular un intervalo de confianza con una confianza de .h

  • Calcular empíricamente la h2ααh2lowl,lowr)(hyosolhl,hyosolhr)α(hyosolhl,lowr) (que contiene los dos intervalos anteriores) debería ser un (1-h) * 100% CI para la diferencia en las proporciones ... Creo ...

α

John Doucette
fuente
+1, gracias. En 6 escribiste "estático", ¿querías decir "estadística"?
Alessandro Jacopson
pag<0 00 0<pag<10 0<pag<1
0,01(norte1-re1)100β=7 7100ββprop.test(7,100)
@uvts_cvs Sí, eso debería ser "estadística". Lo arreglaré en un momento. También hay un error tipográfico en el cálculo del error estándar, que debería ser p * (1-p) en su lugar. P siempre debe ser <1, ​​excepto tal vez si su clasificador es realmente malo yd es grande. Para su tercer comentario, sí, esa es la idea. No estoy seguro de cómo incorporar esa estimación en el modelo. ¿Quizás alguien más aquí lo sabe?
John Doucette el
αβ