Diferencias de referencia en ECA: ¿Qué variables (si las hay) deberían incluirse como covariables?

Recientemente completé un estudio mediante el cual asigné al azar a los participantes a uno de los dos grupos de tratamiento. Probé a los participantes al inicio del estudio, inmediatamente después de la intervención, 1 mes y 4 meses en un número bastante grande de variables de resultado. Estaba planeando ejecutar varios ANOVA mixtos para examinar las interacciones grupo x tiempo. Algunas de las comparaciones serán comparaciones de 2 (grupo) x 2 (tiempo: línea de base y posintervención) y algunas serán comparaciones de 2 (grupo) x 3 (tiempo: línea de base, 1 mes, 4 meses).

Antes de comenzar mis análisis, comparé los dos grupos de tratamiento en todas las variables de referencia. Descubrí que los grupos difieren en 4 variables de línea de base si uso un nivel alfa de .05 o 2 variables de línea de base si uso un nivel de alfa de .01 para comparar los grupos.

Tengo dos preguntas sobre esto:

1. ¿Qué nivel alfa debo usar para comparar los grupos al inicio? Estaba pensando en un nivel alfa de .01 porque estoy comparando los dos grupos en 24 características de referencia y pensé que debería elegir un nivel alfa más estricto que .05 para reducir la tasa de error familiar, ya que se están realizando una gran cantidad de pruebas realizado, pero de mis lecturas parece que la mayoría de la gente usa .05. ¿Que recomiendas?

2. ¿Qué hago con estas diferencias? Podría incluir estas variables como covariables, pero el tamaño de mi muestra es bastante pequeño y el uso de 4 covariables no parece apropiado (lo que también es en parte por qué estoy a favor de aceptar solo las diferencias si son significativas en el nivel .05)

¡Cualquier ayuda en esto sería muy apreciada!

Como Stephen Senn ha escrito, no es apropiado comparar las distribuciones de referencia en un estudio aleatorizado. La forma en que me gusta hablar de esto es hacer la pregunta "¿dónde se detiene?", Es decir, ¿cuántas otras covariables de línea de base debe regresar e intentar recuperar? Encontrarás covariables de contrapeso si te fijas lo suficiente.

La base para elegir un modelo no son las diferencias post-hoc, sino más bien el conocimiento previo de la materia sobre qué variables son probablemente predictores importantes de la variable de respuesta. La versión de referencia de la variable de respuesta es ciertamente un predictor dominante, pero hay otros que probablemente sean importantes. El objetivo es explicar la heterogeneidad explicable en el resultado para maximizar la precisión y el poder. Casi no hay papel para las pruebas de significación estadística en la formulación del modelo.

Un modelo preespecificado se encargará de las diferencias casuales en las variables que importan: las que predicen el resultado.

Normalmente, lo que debería importarle al comparar los dos grupos al inicio del estudio no es tanto la significación estadística de las diferencias sino el tamaño de las diferencias: ¿alguna de estas diferencias es lo suficientemente grande como para ser importante para el estudio? ¿Lo suficientemente grande como para afectar las comparaciones grupales y las relaciones variables que son el foco de la investigación? ¿Lo suficientemente grande como para que sea necesario ajustarlo (utilizándolo como covariable)?

Ahora, su caso es un poco interesante en el sentido de que, incluso con una asignación aleatoria, tiene 4 de 24 variables que muestran diferencias significativas en el nivel .05 (17% en lugar del esperado 5%). Eso puede parecer preocupante para su proceso de aleatorización o algún otro aspecto del estudio. Pero teóricamente, si la aleatorización se realizó sin problemas y no hubo desgaste en ninguno de los grupos después, un resultado tan extremo o más debería ocurrir el 2.4% del tiempo, basado en 24! / (4! (24-4)!) ( .05 ^ 4) (.95 ^ (24-4)). Eso no es realmente una ocurrencia tan rara después de todo. Lo que tienes bien podría ser un conjunto de diferencias aleatorias. Me quedaría con el juicio basado en la magnitud de las diferencias.

+1 a @FrankHarrell. Podría agregar un pequeño punto. Si asignó aleatoriamente a sus participantes a los grupos, cualquier diferencia 'significativa' en los valores covariables antes de la intervención son necesariamente errores de tipo I.