Eliminar factores de una tabla ANOVA de 3 vías

14

En un artículo reciente, instalé un modelo de efectos fijos de tres vías. Como uno de los factores no era significativo (p> 0.1), lo eliminé y volví a instalar el modelo con dos efectos fijos y una interacción.

Acabo de recibir comentarios de los árbitros, para citar:

Ese tiempo no fue un factor significativo en el ANOVA de 3 vías no es en sí mismo un criterio suficiente para agrupar el factor tiempo: el texto estándar sobre este tema, Underwood 1997, argumenta que el valor p para un efecto no significativo debe ser mayor que 0.25 antes de que se puedan agrupar los niveles de tratamiento de un factor. Los autores deben dar el valor p relevante aquí, y justificar su agrupación con referencia a Underwood 1997.

Mis preguntas son:

  1. Nunca he oído hablar de la regla 0.25. ¿Alguien más? Puedo entender no eliminar el factor si el valor p estaba cerca del límite, pero tener una "regla" parece un poco extremo.
  2. Este árbitro afirma que Underwood 1997 es el texto estándar. ¿Es realmente? Nunca antes lo había escuchado. ¿Cuál sería el texto estándar (existe tal cosa)? Desafortunadamente, no tengo acceso a este Underwood, 1997.
  3. Cualquier consejo al responder a los árbitros.

Antecedentes: este documento se envió a una revista no estadística. Al ajustar el modelo de tres vías, verifiqué los efectos de interacción.

anova fixed-effects-model csgillespie
fuente
p≥.25
2
p≥somethingppp
55
Esa sería una respuesta interesante para un árbitro: "Agradecemos al árbitro por sus comentarios, pero creemos que son un poco tontos";) Sin embargo, buen comentario.
csgillespie

Respuestas:

15

Supongo que Underwood en cuestión es Experimentos en Ecología (Cambridge Press 1991). Es una referencia más o menos estándar en las ciencias ecológicas, quizás tercera detrás de Zar y Sohkol y Rohlf (y, en mi opinión, la más 'legible' de las tres)

Si puede encontrar una copia, la sección relevante que está citando su árbitro está en 9.7 en p.273. Allí, Underwood sugiere un procedimiento de agrupación recomendado (por lo que no es una 'regla' per se ) para factores no significativos. Es un procedimiento de 2 pasos que, francamente, no entiendo del todo, pero el resultado es que p = 0.25 se sugiere para reducir la probabilidad de error de Tipo I al agrupar el factor no significativo (por lo que nada tiene que ver con el "tiempo" en su ejemplo, podría ser cualquier factor que no sea sig).

El procedimiento en realidad no parece ser de Underwood, él mismo cita a Winer et al 1991 ( Procedimientos estadísticos en diseño experimental McGraw-Hill). Puede intentarlo allí si no puede encontrar una copia de Underwood.

Chris
fuente
44
+1 Buena respuesta: claro, directo, perspicaz y autoritario.
whuber
@ Chris, ¿te refieres a "reducir la probabilidad de error Tipo II" (no tipo I) arriba? La motivación para no eliminar factores del modelo es evitar estudios de baja potencia que permitan la eliminación de causas genuinas (es decir, el Tipo II de concluir la variable no tiene ningún efecto), mientras que también infla el efecto aparente de los parámetros que quedan en el modelo si están correlacionados con la variable ahora eliminada. Como el efecto secundario generará errores de Tipo I, ¿tal vez Underwood sugiere dejar los efectos para controlar los errores de Tipo 1 y Tipo II, es decir, maximizar la validez del modelo?
tim
10

Odio este tipo de reglas basadas en límites. Creo que depende del diseño y cuáles fueron sus hipótesis y expectativas a priori . Si espera que el resultado varíe con el tiempo, le diría que debe mantener el tiempo, como lo haría con cualquier otro factor de 'bloqueo'. Por otro lado, si estaba replicando los mismos experimentos en diferentes momentos y no tenía ninguna razón para pensar que el resultado variaría con el tiempo, pero deseaba verificar que ese fuera el caso, lo hizo y encontró poca o ninguna evidencia de que varía con tiempo, yo diría que es bastante razonable entonces perder el tiempo.

Nunca he oído hablar de Underwood antes. Puede ser un texto estándar para 'Experimentos en Ecología' (el título del libro), pero no hay una razón obvia para que los experimentos en ecología se traten de manera diferente a cualquier otro experimento a este respecto, para verlo como " el texto estándar sobre este problema "parece injustificado.

una parada
fuente
1
Antes del experimento, se creía que el factor sería significativo. Sin embargo, fue inundado por los otros dos efectos. Eliminé el factor porque mantenerlo no cambió las conclusiones y solo dificultó la explicación.
csgillespie
2
Hmm, en ese caso, creo que lo guardaría. ¡No puedo ver por qué hace que la explicación sea más difícil, y como has descubierto, puede ser más difícil explicar por qué la dejaste caer que por qué la guardaste!
onestop
Tomo su punto, aunque no estoy 100% de acuerdo con eso. Pude ver fácilmente a otro árbitro sugiriendo que debería eliminar el factor (eso es lo que los bioestadísticos recomiendan que yo también haya hablado). Como mencionó, cuando se trata de un área gris, una regla arbitraria no es el camino a seguir. ¡Si quisiéramos engañar, nunca mencionaríamos que el otro factor estuvo involucrado alguna vez! Completamente poco ético, pero sospecho que sucede.
csgillespie
1

por favor lea el texto de Underwood y las referencias allí, no es una regla, por favor lea. De hecho, este enfoque es controlar el error tipo II al eliminar (o agrupar) un término "no significativo" en el modelo. ¿Qué sucede si el término que elimina tiene un nivel de significación de 0.06? ¿Está realmente seguro de que la EM esperada no incluye un efecto adicional debido al factor? Si elimina ese término, está asumiendo que la MS esperada no incluye el efecto adicional debido a ese tratamiento, ¡PERO DEBE estar algo protegido contra el error tipo II! por favor disculpe mi pobre y apresurado inglés!

AnastD
fuente