¿Por qué la mayoría de los trabajos publicados en imágenes médicas intentan reducir los falsos positivos?

En el procesamiento de imágenes médicas, la mayoría de los trabajos publicados intentan reducir la tasa de falsos positivos (FPR), mientras que en realidad los falsos negativos son más peligrosos que los falsos positivos. ¿Cuál es la razón detrás de esto?

TL; DR: las enfermedades son raras, por lo que el número absoluto de falsos positivos es mucho mayor que el de los falsos negativos.

Supongamos que nuestro sistema tiene la misma tasa de falsos positivos y falsos negativos del 1% (¡bastante bueno!), Y que estamos detectando la presencia de nuevos cánceres este año: 439.2 / 100,000 personas, o 0.5% de la población. [ fuente ]

• Sin cáncer, sin detección: 99.5% x 99% = 98.5% (98.505%)
• Sin cáncer, detección: 99.5% x 1% = 1.0% (0.995%)
• Cáncer, detección: 0.5% x 99% = 0.5% (0.495%)
• Cáncer, sin detección: 0.5% x 1% = 0.005%

Entonces podemos ver que tenemos un problema: para todos los que tienen cáncer, dos personas que no tuvieron cáncer terminan con cirugía invasiva, quimioterapia o radioterapia.

Por cada persona que no logra que se detecte un cáncer presente, doscientas personas reciben un tratamiento dañino activo que no necesitaban y que realmente no pueden pagar.

Ya sabes la historia del niño que lloró lobo, ¿verdad?

Es la misma idea. Después de que un clasificador da falsas alarmas (grita lobo) tantas veces, el personal médico lo apagará o lo ignorará.

"¡Oh, esto de nuevo! ¡NO!"

Al menos con el grupo de bioingeniería con el que he trabajado, el énfasis está en reducir la FPR específicamente porque el objetivo es hacer una herramienta que alertará a los médicos sobre posibles patologías, y nos han dicho que ignorarán un producto que llora lobo demasiado.

Para un producto que ayuda a los médicos, tenemos que apelar a su psicología, a pesar del argumento legítimo de que echar de menos al lobo en la granja es peor que llorar.

Editar : La disminución de falsos positivos también tiene un argumento legítimo. Si su computadora sigue llorando lobo mientras recibe ocasionalmente verdaderos positivos (y capta la mayoría de los verdaderos positivos), efectivamente está diciendo que alguien podría estar enfermo. Están en el hospital El médico sabe que el paciente puede estar enfermo.

Resumen: la pregunta probablemente * no es si un falso negativo es peor que uno falso positivo, es probablemente * más como si 500 falsos positivos son aceptables para llegar a un falso negativo.

* depende de la aplicación

Permítanme ampliar un poco la respuesta de @ Dragon:

• La detección significa que estamos buscando enfermedades entre una población aparentemente sana. Como explicó @Dragon, para estos necesitamos un FPR extremadamente bajo (o alta sensibilidad), de lo contrario, terminaremos con muchos más falsos positivos que verdaderos positivos. Es decir, el valor predictivo positivo (# realmente enfermo entre todos los diagnosticados positivos) sería inaceptablemente bajo.

• La sensibilidad (TPR) y la especificidad (TNR) son fáciles de medir para un sistema de diagnóstico: tome una serie de casos verdaderamente (no) enfermos y mida la fracción de los detectados correctamente.

• OTOH, tanto desde el punto de vista de médicos como de pacientes, los valores predictivos son más precisos . Son lo "inverso" a la sensibilidad y la especificidad y le dicen, entre todas las predicciones positivas (negativas), qué fracción es correcta. En otras palabras, después de que la prueba dijo "enfermedad", ¿cuál es la probabilidad de que el paciente realmente tenga la enfermedad?

• Como lo mostró @Dragon, la incidencia (o prevalencia, dependiendo de qué prueba estamos hablando) juega un papel crucial aquí. La incidencia es baja en todo tipo de aplicaciones de detección / diagnóstico temprano de cáncer.
  Para ilustrar esto, el cribado del cáncer de ovario para mujeres posmenopáusicas tiene una prevalencia del 0,04% en la población general y del 0,5% en mujeres de alto riesgo con antecedentes familiares y / o mutaciones conocidas de los genes supresores de tumores BRCA1 y 2 [Buchen, L. Cáncer: falta la marca. Nature, 2011, 471, 428-432]

• Por lo tanto, la pregunta generalmente no es si un falso negativo es peor que un falso positivo, sino que incluso el 99% de especificidad (1% FPR) y el 95% de sensibilidad (números tomados del documento vinculado anteriormente) significa aproximadamente 500 falsos positivos por cada falso negativo .

• Como nota al margen, también tenga en cuenta que el diagnóstico temprano del cáncer en sí mismo no es una cura mágica para el cáncer. Por ejemplo, para la mamografía de detección de cáncer de mama, solo del 3 al 13% de las pacientes con resultados positivos reales se benefician realmente de la detección .
  Por lo tanto, también debemos vigilar la cantidad de falsos positivos para cada paciente beneficiado . Por ejemplo, para la mamografía, junto con estos números , una estimación aproximada de que tenemos en algún lugar en el rango de 400 a 1800 falsos positivos por beneficio verdadero positivo (grupo de 39 a 49 años).

• Con cientos de falsos positivos por falso negativo (y también tal vez cientos o incluso miles de falsos positivos por paciente que se benefician del examen) la situación no es tan clara como "es un cáncer perdido peor que un diagnóstico de cáncer falso positivo": falsos positivos tiene un impacto, que va desde psicológicos y psicosomáticos (preocuparse de que usted tenga cáncer en sí mismo no es saludable) hasta riesgos físicos de diagnósticos de seguimiento como la biopsia (que es una cirugía pequeña, y como tal viene con su propia riesgos).
  Incluso si el impacto de un falso positivo es pequeño, los riesgos correspondientes pueden sumar sustancialmente si se deben considerar cientos de falsos positivos.

  Lectura sugerida: Gerd Gigerenzer: Comprensión del riesgo: cómo tomar buenas decisiones (2014).

• Aún así, qué PPV y NPV son necesarios para que una prueba de diagnóstico sea útil depende en gran medida de la aplicación.
  Como se explicó, en el cribado para la detección temprana del cáncer, el foco generalmente está en el VPP, es decir, asegurarse de que no causa demasiado daño por falsos negativos: encontrar una fracción considerable (incluso si no todos) de los pacientes con cáncer temprano ya es una mejora sobre El status quo sin detección.
  OTOH, la prueba de VIH en donaciones de sangre se enfoca primero en el VPN (es decir, asegurarse de que la sangre esté libre de VIH). Aún así, en un segundo (y tercer) paso, los falsos positivos se reducen mediante la aplicación de más pruebas antes de preocupar a las personas con resultados (falsos) positivos de la prueba de VIH.

• Por último, pero no menos importante, también hay aplicaciones de pruebas médicas en las que las incidencias o prevalencias no son tan extremas como lo son generalmente en la detección de poblaciones de riesgo no particularmente alto, por ejemplo, algunos diagnósticos diferenciales.

Desde una perspectiva personal, en lugar de una experiencia de ciencia de datos, un falso positivo tiene un mayor impacto en la calidad de vida del paciente que un falso negativo (al menos en la mayoría de las aplicaciones de procesamiento de imágenes médicas. No estamos hablando de resultados de laboratorio aquí) .

Veamos un ejemplo concreto: la detección de tumores .

Un falso negativo significa que un tumor en etapa temprana tiene más tiempo para crecer y convertirse en cáncer malicioso. En general, este proceso lleva mucho tiempo y cada examen posterior tiene una mayor probabilidad de detectarlo, pero en realidad la salud a largo plazo de un paciente sufre.

Además, siempre hay un humano involucrado en el diagnóstico. El procesamiento de imágenes médicas en su etapa tecnológica actual pretende ser una ayuda para el personal médico, no un sustituto . A menudo se pretende señalar lesiones o cambios en el tejido que son tan sutiles que un humano podría pasarlos por alto. No hay posibilidad de que un médico pase por alto un tumor en estadio avanzado. No necesitan procesamiento de imágenes para eso.

En términos de procedimientos médicos, si un tumor no se vuelve inoperable antes de la próxima evaluación, no hay una gran diferencia entre extirpar un tumor en etapa temprana o uno que tenga un poco más de tiempo para crecer. La cantidad de tejido extraído es mayor, pero el tipo de operación suele ser la misma. (Esto supone que el paciente realiza exámenes de salud regulares).

Un falso positivo tiene muchas implicaciones que no están directamente relacionadas con una dolencia:

• Procedimientos adicionales Después de que un proceso de obtención de imágenes produce un resultado positivo, se realizan más pruebas para las cuales se extrae sangre o tejido (biopsia). Hablando objetivamente, el cuerpo del paciente está dañado para poder verificar el resultado de la imagen.
• Temor. Las pruebas de laboratorio llevan tiempo. La persona afectada a menudo vive varios días, a veces semanas, de clima incierto o no, la lesión en realidad es cáncer. Muchas personas que han experimentado un falso positivo describen este evento como "traumatizante" y sufren de ansiedad relacionada con la salud durante mucho tiempo.
• Inversión de tiempo. Si la verificación del resultado de la imagen a través de pruebas de laboratorio o similar requiere varios exámenes, el paciente y los médicos deben invertir tiempo para ellos. Incluso si solo se necesita una prueba, hay varias personas involucradas, incluidas enfermeras, médicos y técnicos de laboratorio. En un momento en que los médicos tienen un exceso de trabajo crónico, esto debe evitarse si es posible.
• Medicamentos innecesarios En el peor de los casos, el paciente recibe tratamiento por una dolencia que ni siquiera tiene y su cuerpo sufre una tensión innecesaria por los efectos secundarios de la medicación.
• Pérdida de efecto. El personal médico ignorará los resultados positivos verdaderos si un procedimiento arroja demasiados falsos positivos (como se explica en otras respuestas).

Esta evaluación de riesgo-beneficio muestra que un falso negativo incluye menos riesgo para un paciente que un falso positivo. Por lo tanto, la prioridad de reducir los falsos positivos es generalmente mayor.

El tiempo del clínico es precioso

Desde el campo de la medicina, los médicos a menudo tienen una amplia variedad de enfermedades para tratar de detectar y diagnosticar, y este es un proceso que lleva mucho tiempo. Una herramienta que presenta un falso positivo (incluso a una tasa baja) es menos útil porque no es posible confiar en ese diagnóstico, lo que significa que cada vez que hace ese diagnóstico, debe verificarse. Piense en ello como el software WebMD: ¡todo es un signo de cáncer!

Una herramienta que presenta falsos negativos, pero siempre presenta verdaderos positivos, es mucho más útil, ya que un clínico no necesita perder el tiempo para verificar dos veces o adivinar el diagnóstico. Si marca a alguien como enfermo con un diagnóstico específico, trabajo hecho. Si no es así, las personas que no están destacadas como enfermas recibirán pruebas adicionales de todos modos.

Es mejor tener una herramienta que pueda identificar con precisión incluso un solo rasgo de una enfermedad, que una herramienta que tal vez falsifique múltiples rasgos.

Tasa de falso positivo (FPR) también conocida como tasa de falsa alarma (FAR); Una gran tasa de falsos positivos puede producir un bajo rendimiento del sistema de detección de imágenes médicas. Un falso positivo es donde recibe un resultado positivo para una prueba, cuando debería haber recibido resultados negativos. Por ejemplo, una prueba de embarazo es positiva, cuando de hecho la persona no está embarazada.

Con toda probabilidad, todos en este hilo ya saben que este es un problema en el núcleo del análisis bayesiano. Solo para el beneficio de futuros peregrinos que puedan pensar que los falsos positivos son de alguna manera únicamente un problema en radiología, espero que este comentario brinde una perspectiva un poco más general.