La tasa de descubrimiento falso (Benjamini-Hochberg) se usa generalmente en 'Big Data', como los estudios genéticos que utilizan cientos de pruebas. ¿Pero también se puede usar en un número menor de pruebas? Por ejemplo, observando los resultados de dos grupos (hombres frente a mujeres) en, por ejemplo, 10-20 cuestionarios diferentes. ¿El procedimiento FDR pierde valor / significado / potencia en estos casos?
Veo gente confundiendo esto todo el tiempo, también en este foro. Creo que esto se debe en gran medida a que, en la práctica, el procedimiento de Benjamini-Hochberg se usa como sinónimo de False Discovery Rate (y como un recuadro negro para "ajustar" los valores p solicitados por los revisores para sus documentos). Hay que separar claramente el concepto FDR del método de Benjamini-Hochberg. El primero es un error generalizado de tipo I, mientras que el segundo es un procedimiento de prueba múltiple que controla ese error. Esto es muy análogo, por ejemplo, al procedimiento de FWER y Bonferroni.
De hecho, no hay una razón inmediata por la cual el número de hipótesis debería importar cuando se desea utilizar métodos de control FDR. Solo depende de tu objetivo. En particular, suponga que está probando hipótesis y su procedimiento rechaza de ellos con falsos rechazos.
Ahora usas un FWER () El control de procedimiento si desea realizar ninguna errores de tipo I. Por otro lado, utiliza el , cuando es aceptable cometer algunos errores, siempre que sean relativamente pocos en comparación con todos los rechazos que realizó, es decir
Por lo tanto, la respuesta a su pregunta depende completamente de lo que desea lograr y no existe una razón intrínseca por la cual un pequeño sea problemático. Solo para ilustrar un poco más: el ejemplo de análisis de datos en el artículo seminal de 1995 de Benjamini-Hochberg solo incluía hipótesis, ¡y por supuesto también es válido para ese caso!
Por supuesto, hay una advertencia para mi respuesta: el procedimiento BH solo se hizo popular después de que los conjuntos de datos "masivos" (por ejemplo, Microarrays) comenzaron a estar disponibles. Y como usted menciona, generalmente se usa para dicha aplicación de "Big data". Pero esto es solo porque en tales casos el como criterio tiene más sentido, por ejemplo, porque es escalable y adaptativo y facilita la investigación exploratoria. El FWER, por otro lado, es muy estricto, como lo requieren los estudios clínicos, etc. y lo castiga demasiado por explorar demasiadas opciones simultáneamente (es decir, no es adecuado para el trabajo exploratorio).
Ahora, supongamos que ha decidido que el FDR es el criterio apropiado para su aplicación. ¿Es Benjamini Hochberg la opción correcta para controlar el FDR cuando el número de hipótesis es bajo? Yo diría que sí, ya que es estadísticamente válido también para bajo . Pero para baja , por ejemplo, también podría usar otro procedimiento, a saber, el procedimiento de Benjamini y Liu , que también controla el FDR. De hecho, los autores sugieren su uso (sobre Benjamini-Hochberg) cuandoy se espera que la mayoría de las hipótesis sean falsas. ¡Entonces verá que hay opciones alternativas para el control FDR! En la práctica, todavía usaría BH solo porque está muy bien establecido y porque los beneficios de usar Benjamini-Liu serán marginales en la mayoría de los casos, si es que existen.
En una nota relacionada última, de hecho hay algunos procedimientos de control de FDR que se debe no utilizar para la baja ! Estos incluyen todos los procedimientos locales basados en fdr, por ejemplo, tal como se implementa en los paquetes R "fdrtool" y "locfdr".