Corrección de Bonferroni con correlación de Pearson y regresión lineal.

9

Estoy ejecutando estadísticas en 5 IV (5 rasgos de personalidad, extroversión, amabilidad, conciencia, neuroticismo, apertura) contra 3 DV Actitud hacia PCT, Actitud hacia CBT, Actitud hacia PCT vs CBT. También agregué edad y género para ver qué otros efectos hay.

Estoy probando para ver si los rasgos de personalidad pueden predecir las actitudes de los DV.

Inicialmente utilicé la correlación de Pearson para todas las variables (45 pruebas).

El principal hallazgo fue que la extroversión se correlacionó con la actitud de PCT en p = 0.05. Pero cuando estaba ejecutando 45 pruebas, hice una corrección de Bonferroni de alfa = 0.05 / 45 = 0.001, por lo que este hallazgo es insignificante.

Luego ejecuté una regresión lineal simple en todas las variables, nuevamente la extroversión fue significativa con la actitud hacia PCT. Si hago la corrección de Bonferroni, esto vuelve a ser insignificante.

Preguntas:

  1. ¿Necesito corregir Bonferroni en la correlación de Pearson?
  2. Si lo hago y, por lo tanto, hacer que la extroversión con actitud hacia PCT sea insignificante, ¿hay algún punto en hacer una regresión lineal?
  3. Si hago una regresión lineal, ¿necesito hacer la corrección de Bonferroni para esto también?
  4. ¿Solo informo valores corregidos o valores corregidos y no corregidos?
Wendy
fuente
44
La pregunta 1 está relacionada con Look y usted encontrará (una correlación) y la pregunta 3 con ¿Es una buena idea ajustar los valores p en una regresión múltiple para comparaciones múltiples? . En general, los resultados de esta consulta pueden ser de interés.
chl

Respuestas:

4

Creo que Chl te ha señalado una gran cantidad de buen material y referencias sin responder directamente a la pregunta. La respuesta que doy puede ser un poco controvertida porque sé que algunos estadísticos no creen en el ajuste de multiplicidad y muchos bayesianos no creen en el valor p. De hecho, una vez escuché a Don Berry decir que usar el enfoque bayesiano particularmente en diseños adaptativos que controlan el error tipo I no es una preocupación. Retiró eso más tarde después de ver lo importante que es prácticamente para la FDA asegurarse de que los medicamentos malos no lleguen al mercado.

Mi respuesta es sí y no. Si haces la prueba 45, sin duda necesitas ajustar la multiplicidad, pero no a Bonferroni porque podría ser demasiado conservador. La inflación del error tipo I cuando se mina la correlación de datos es claramente un tema que llamó la atención con la publicación citada "mira y encontrarás correlación". Los tres enlaces proporcionan gran información. Lo que creo que falta es el enfoque de muestreo para el ajuste del valor p desarrollado tan bien por Westfall y Young. Puede encontrar ejemplos en mi libro de bootstrap o detalles completos en su libro de remuestreo. Mi recomendación sería considerar los métodos de arranque o permutación para el ajuste del valor p y tal vez considerar la tasa de descubrimiento falso sobre la estricta tasa de error familiar.

Enlace a Westfall and Young: http://www.amazon.com/Resampling-Based-Multiple-Testing-Adjustment-Probability/dp/0471557617/ref=sr_1_1?s=books&ie=UTF8&qid=1343398751&sr=1-1&keywords=peter+ Westfall

Libro reciente de Bretz et al sobre comparaciones múltiples: http://www.amazon.com/Multiple-Comparisons-Using-Frank-Bretz/dp/1584885742/ref=sr_1_2?s=books&ie=UTF8&qid=1343398796&sr=1-2&keywords= Peter + Westfall

Mi libro con material en la sección 8.5 y toneladas de referencias de bootstrap: http://www.amazon.com/Bootstrap-Methods-Practitioners-Researchers-Probability/dp/0471756210/ref=sr_1_2?s=books&ie=UTF8&qid=1343398953&sr=1 -2 y palabras clave = michael + chernick

Michael R. Chernick
fuente
+1 La reproducción de la Cuadrícula estadística de Munchausen de Graham Martin al final de Westfall & Young lo dice todo de una manera muy atractiva. Puede leer esto en la función "mirar hacia adentro" de Amazon. (Es casi tan divertido ver a Amazon ofrecer un precio de intercambio de $ 7 por este libro de $ 150).
whuber
@whuber Creo que vi una caricatura que una vez mostraba al Barón saliendo de un lago por las botas. ¡Efron pudo haber sido sabio al llamarlo bootstrap ya que muchos son escépticos de que se pueda hacer en estadísticas al igual que muchos son escépticos sobre la leyenda del Barón!
Michael R. Chernick
4

Me parece que esto es investigación exploratoria / análisis de datos , no confirmatorio. Es decir, no parece que haya comenzado con una teoría que dice que solo la extroversión debería estar relacionada con PCT por alguna razón. Por lo tanto, no me preocuparía demasiado por los ajustes alfa, ya que pienso que eso está más relacionado con el CDA, ni creo que su hallazgo sea necesariamente cierto. En cambio, lo pensaría como algo que podríasé sincero y juega con estas ideas / posibilidades a la luz de lo que sé sobre los temas en cuestión Habiendo visto este hallazgo, ¿suena cierto o eres escéptico? ¿Qué significaría para las teorías actuales si fuera cierto? ¿Sería interesante? ¿Sería importante? ¿Vale la pena realizar un nuevo estudio (confirmatorio) para determinar si es cierto, teniendo en cuenta el tiempo potencial, el esfuerzo y los gastos que eso conlleva? Recuerde que la razón de las correcciones de Bonferroni es que esperamos algo a aparecer cuando se tienen tantas variables. Entonces, creo que una heurística puede ser 'si este estudio fuera suficientemente informativo, incluso si la verdad resulta ser no'? Si decides que no vale la pena, esta relación permanece en la categoría de "poder" y sigues adelante, pero si vale la pena hacerlo, pruébalo.

gung - Restablece a Monica
fuente
Si realmente entiende lo que es el análisis de datos exploratorios y no toma las correlaciones demasiado en serio, estaría de acuerdo con usted. Pero las personas reconocerán que solo están haciendo análisis exploratorios para filtrar la correlación débil pero que se entusiasman demasiado cuando ven algo prometedor. Eso es parte de la naturaleza humana. Creo que hacer el ajuste usando FDR como criterio es una forma sensata de controlar la emoción.
Michael R. Chernick
1
@MichaelChernick, no estoy necesariamente en desacuerdo contigo. Solo quería emitir otra opinión y, a menudo, me gusta dar una perspectiva general, semi-filosófica, de qué se trata todo esto. Muchos practicantes pueden atascarse en detalles que les parecen arcanos y se quedan sin una comprensión sólida.
gung - Restablece a Monica
1
No hay desacuerdo aquí y entiendo tu punto. Solo quiero agregar que si pudiéramos ser despectivos y aceptar el principio estadístico y no apegarnos personalmente a nuestra investigación con un interés personal en el resultado, podríamos hacer exactamente lo que usted dice. Pero es muy difícil de hacer. Imagínese trabajando para una compañía farmacéutica que ha gastado millones en investigación clínica para un medicamento en particular y que falle. El director médico le pedirá que busque 20 subgrupos diferentes y encuentre uno que funcione.
Michael R. Chernick
1
El análisis de subgrupos es uno de los aspectos más controvertidos de la investigación clínica. Sin un ajuste de multiplicidad no hay forma de legitimarlo y hacerlo a posteriori dificulta la venta a la FDA. Este es solo un ejemplo de mi experiencia en los últimos años que me hace sensible a las sugerencias de ignorar la multiplicidad.
Michael R. Chernick
-1

De acuerdo con lo siguiente: http://birnlab.psychiatry.wisc.edu/resources/fMRI_TestRetest_Documentation.pdf

Al determinar la importancia, corrija el valor p para comparaciones múltiples. Por ejemplo, un valor p corregido por Bonferroni es el valor p dividido por el número total de comparaciones, que en este caso son las conexiones únicas m (m - 1) / 2.

Por ejemplo, su valor p de corte para una correlación es 0.05, y suponga que su tabla de correlación es 100 * 100. Entonces su valor p debe ajustarse a 0.05 / (100 * 99/2).

La regresión lineal aplica la corrección de Bonferroni de manera similar a la anterior.

Sé que la respuesta parece no estar relacionada con lo que preguntas. En ese caso, hágamelo saber y haré todo lo posible para aclararlo. Espero que ayude.

Frank Puk
fuente