¿Qué formas hay de mostrar que dos métodos analíticos son equivalentes?

11

Tengo dos métodos analíticos diferentes que pueden medir la concentración de una molécula particular en una matriz (por ejemplo, medir la cantidad de sal en el agua)

Los dos métodos son diferentes y cada uno tiene su propio error. Las formas de mostrar los dos métodos son equivalentes (o no).

Estoy pensando que trazar los resultados de una serie de muestras medidas por ambos métodos en un gráfico de dispersión es un buen primer paso, pero ¿hay algún buen método estadístico?

PaulHurleyuk
fuente
¿Puedes dar más detalles en tu pregunta? No entiendo qué es "la concentración de una molécula particular en una matriz".
robin girard
2
@robin: "matriz" en este contexto es la terminología estándar de química analítica; se refiere al medio donde se pueden encontrar las entidades a analizar (los "analitos"). Por ejemplo, si está analizando la concentración de plomo en el agua del grifo, el plomo es el analito y el agua es la matriz.
JM no es un estadístico

Respuestas:

13

El enfoque de correlación simple no es la forma correcta de analizar los resultados de los estudios de comparación de métodos. Hay (al menos) dos libros muy recomendados sobre este tema al que hice referencia al final (1,2). En pocas palabras, cuando se comparan métodos de medición, generalmente esperamos que (a) nuestras conclusiones no dependan de la muestra particular utilizada para la comparación, y (b) el error de medición asociado con el instrumento de medición en particular debe tenerse en cuenta. Esto excluye cualquier método basado en correlaciones, y enfocaremos nuestra atención en los componentes de varianza o los modelos de efectos mixtos que permiten reflejar el efecto sistemático del ítem (aquí, el ítem significa individuo o muestra en el que se recopilan los datos) (una).

En su caso, tiene mediciones individuales recolectadas usando dos métodos diferentes (supongo que ninguno de ellos podría considerarse como un estándar de oro) y lo más básico es trazar las diferencias ( ) versus las medias ( ); esto se llama un . Le permitirá verificar si (1) las variaciones entre los dos conjuntos de mediciones son constantes y (2) la variación de la diferencia es constante en el rango de valores observados. Básicamente, esto es solo una rotación de 45 ° de un diagrama de dispersión simple de frente a , y su interpretación está cerca de un gráfico de valores ajustados versus valores residuales utilizados en la regresión lineal. Entonces, ( X 1 + X 2 ) / 2 X 1 X 2X1X2(X1+X2)/2X1X2

  • Si la diferencia es constante ( sesgo constante ), puede calcular el límite de acuerdo (ver (3))
  • Si la diferencia no es constante en todo el rango de medición, puede ajustar un modelo de regresión lineal entre los dos métodos (elija el que desee como predictor)
  • Si la varianza de las diferencias no es constante, intente encontrar una transformación adecuada que haga que la relación sea lineal con la varianza constante.

Se pueden encontrar otros detalles en (2), capítulo 4.

Referencias

  1. Dunn, G (2004). Diseño y análisis de estudios de confiabilidad . Arnold Vea la revisión en el International Journal of Epidemiology .
  2. Carstensen, B (2010). Comparación de métodos de medición clínica . Wiley Consulte el sitio web complementario , incluido el código R.
  3. El artículo original de Bland y Altman, Métodos estadísticos para evaluar el acuerdo entre dos métodos de medición clínica .
  4. Carstensen, B (2004). Comparación y predicción entre varios métodos de medición . Bioestadística , 5 (3) , 399–413.
chl
fuente
¿Le importaría aclarar lo que quiere decir con "(a) nuestras conclusiones no deberían depender de la muestra particular utilizada para la comparación"? Tengo problemas debido a la ambigüedad de la "muestra" en este contexto: ¿significa "muestra estadística" (un conjunto de datos que se supone representa un proceso o población) o "muestra ambiental" (un poco de agua, suelo, aire o tejido, típicamente). Con cualquiera de los dos significados, no puedo trazar la línea lógica a su conclusión de que esto "excluye cualquier método basado en correlaciones".
whuber
@whuber Bueno, me refiero a la recopilación de datos observados (por ejemplo, concentración de glucosa) que, idealmente, deberían ser representativos del rango probable de lo que se está midiendo. Confiar en la correlación puede ser engañoso porque depende de las unidades muestreadas (p. Ej., Pacientes en un hospital): podemos obtener una correlación más alta al obtener una o más mediciones extremas en cualquier escala, aunque la relación entre los dos métodos sigue siendo la misma. . Por lo tanto, la idea es que la distribución de la medida de interés no debe influir en nuestra conclusión sobre la comparabilidad de los métodos. (...)
chl
@whuber (...) Lo que queremos evaluar es el acuerdo más allá de los datos , no la relación en los datos (estoy citando Carstensen 2010 p. 8-9).
chl
Gracias; eso aclara bien tu posición. Esto es esencialmente un ejercicio de calibración, excepto que no parece que tengamos un estándar de referencia para la comparación; simplemente asumimos que las muestras físicas elegidas por el experimentador cubren cierto rango de concentraciones verdaderas. Por lo tanto, mientras escribe, la correlación per se no es necesariamente una medida útil de acuerdo entre los dos métodos. Normalmente, sin embargo, especialmente para los análisis químicos, se conoce la verdadera concentración (porque el experimentador introdujo una cantidad conocida de una sustancia en la matriz).
whuber
@whuber Eso es correcto. En ausencia de un estándar de oro, simplemente estamos interesados ​​en la medida en que los dos métodos producen resultados "comparables", de ahí la idea de confiar en los llamados límites de acuerdo. Aunque la verdadera medida puede conocerse de antemano, cada instrumento de medición lleva su propio error de medición, al menos para aquellos con los que solía tratar en el dominio biomédico (por ejemplo, concentración de glucosa en sangre) y neuropsicológico (por ejemplo, nivel de depresión).
chl
2

Si no tiene forma de conocer la verdadera concentración, el enfoque más simple sería una correlación. Un paso más allá podría ser llevar a cabo una regresión simple que prediga el resultado en el método 2 utilizando el método 1 (o viceversa). Si los métodos son idénticos, la intersección debe ser 0; si la intersección es mayor o menor que 0, indicaría el sesgo de un método en relación con otro. La pendiente no estandarizada debe estar cerca de 1 si los métodos en promedio producen resultados idénticos (después de controlar un sesgo hacia arriba o hacia abajo en la intersección). El error en la pendiente no estandarizada podría servir como un índice de la medida en que los dos métodos están de acuerdo.

Me parece que la dificultad con los métodos estadísticos aquí es que está tratando de afirmar lo que generalmente se plantea como una hipótesis nula, es decir, que no hay diferencias entre los métodos. Esto no es un golpe mortal para usar métodos estadísticos siempre que no necesite un valor p y pueda cuantificar lo que quiere decir con "equivalente" y pueda decidir cuánta desviación pueden tener los dos métodos entre sí antes de que ya no considérelos equivalentes. En el enfoque de regresión que detallé anteriormente, puede considerar los métodos equivalentes si el intervalo de confianza alrededor de la estimación de la pendiente incluye 1 y el IC alrededor de la intersección incluye 0.

russellpierce
fuente
En quimiometría, las respuestas del instrumento son a menudo no lineales y heteroscedásticas. Como mínimo, impone cierta precaución al realizar e interpretar la regresión.
whuber
1

Estoy de acuerdo con @drnexus. Además, podría recomendar una prueba de Morgan-Pitman para la igualdad de varianzas de los dos métodos. Esto le dirá si un método tiene más varianza que el otro. Esto en sí mismo podría no ser algo malo porque presumiblemente las dos pruebas tienen diferentes compensaciones de sesgo-varianza (por ejemplo, una prueba siempre puede decir 50% (sesgada, pero sin varianza) mientras que la otra es imparcial pero muy ruidosa). Algunos conocimientos de dominio pueden ser útiles aquí para determinar la cantidad de compensación que desea de su método. Por supuesto, como lo han señalado otros, sería preferible tener un 'estándar de oro'.

shabbychef
fuente
1

Una pregunta bastante antigua, pero tal como surgió hoy:

La palabra clave general es "validación en química analítica" y, como tal, está un poco fuera de tema aquí (pero como no hay un sitio de Química aquí (todavía: http://area51.stackexchange.com/proposals/4964/chemistry , I supongo que podemos dejarlo aquí por el momento)

Hay algunos procedimientos estándar en química analítica para esto.

Libros:

  • Funk et. al: Aseguramiento de la calidad en química analítica, Wiley-VCH.

  • Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
    (No sé si hay una versión en inglés y todavía no la tengo. Pero la tabla de contenido enumera la validación de la calibración multivariada).

La IUPAC también tiene algo que decir al respecto:

  • Danzer, K. y Currie, LA: Directrices para la calibración en química analítica. Parte I. Fundamentos y calibración de un solo componente, Química pura y aplicada, IUPAC, 1998, 4, 993-1014

  • Danzer, K. y Otto, M. y Currie, LA: Directrices para la calibración en química analítica. Parte 2: Calibración multicomponente Química pura y aplicada, 2004, 76, 1215-1225

cbeleites descontentos con SX
fuente
0

Su uso de la frase 'métodos analíticos' es un poco confuso para mí. Voy a suponer que por "métodos analíticos" se refiere a algún modelo específico / estrategia de estimación.

En términos generales, hay dos tipos de métricas que podría usar para elegir entre estimadores.

Métricas en muestra

  • Índice de probabilidad / prueba de Wald / prueba de puntaje
  • R 2
  • Tasas de aciertos en la muestra (porcentaje de predicciones correctas para los datos de la muestra)
  • (Muchas otras métricas dependiendo del modelo / contexto de estimación)

Métricas fuera de muestra

  • Tasas de aciertos fuera de muestra (Porcentaje de predicciones correctas para datos fuera de muestra)

Si las estimaciones son equivalentes, funcionarían igualmente bien en estas métricas. También podría ver si las estimaciones no son estadísticamente diferentes entre sí (como la prueba de igualdad de medias de dos muestras), pero la metodología para esto dependería de los detalles del modelo y el método.


fuente
Lo siento, me refería a un método de medición analítico. He reformulado la pregunta.
PaulHurleyuk
En ese caso, creo que la prueba de igualdad de dos muestras para medias / proporciones es lo que es posible que desee hacer.
2
¿Una prueba de medias / proporciones solo le daría una estimación puntual de si los dos métodos dieron la misma respuesta promedio para un conjunto dado de respuestas? ¿No podría ese enfoque producir un resultado "igual" incluso si los dos métodos estuvieran realmente correlacionados negativamente entre sí?
russellpierce
Ese es un buen punto.