¿Por qué los regresores irrelevantes se vuelven estadísticamente significativos en muestras grandes?

8

Estoy tratando de comprender mejor la significación estadística, los tamaños del efecto y similares.

Tengo la percepción (tal vez está mal) de que incluso los regresores irrelevantes a menudo se vuelven estadísticamente significativos en muestras grandes . Por irrelevante quiero decir que no hay una explicación del tema por qué el regresor debería estar relacionado con la variable dependiente. Por lo tanto, la irrelevancia en esta publicación es un concepto puramente temático y no estadístico.

Sé que un regresor será estadísticamente significativo dada una muestra suficientemente grande a menos que el efecto de la población sea exactamente cero (como se discute aquí ). Por lo tanto, un regresor irrelevante que parece estadísticamente significativo en una muestra grande tiene un tamaño de efecto distinto de cero en la población.

Preguntas:

  1. ¿Cómo es que un regresor irrelevante resulta estadísticamente significativo?
  2. ¿Debería buscar una explicación del tema (es decir, tratar de negar la irrelevancia) o es un fenómeno estadístico?

Esta es una continuación de una publicación en la que estaba tratando de aclarar cómo curar este efecto. Mientras tanto, aquí estoy preguntando por qué sucede en primer lugar.

regression statistical-significance effect-size large-data Richard Hardy
fuente
Esto todavía parece duplicar su publicación anterior, que ya había sido respondida. Una respuesta al duplicado de esa publicación dice que "los valores p son arbitrarios, en el sentido de que puede hacerlos tan pequeños como desee mediante la recopilación de datos suficientes". ¿Eso no aborda tanto el n. ° 1 como el n. ° 2?
whuber
1
Gracias @whuber. Intenté dejar en claro que esta publicación aborda una pregunta nueva y diferente. Ya entiendo lo que sucede si realmente hay un efecto en la población (el tema de la otra publicación y uno anterior se duplica). Mis preguntas aquí son: (i) es la razón de la importancia estadística frecuente de regresores aparentemente irrelevantes siempre iguales, es decir, que en realidad hay un efecto de población; (ii) si no, ¿cuáles son las razones alternativas? (iii) en caso afirmativo, ¿son los efectos en la población con mayor frecuencia debido al tema o al azar? Espero que esto lo aclare.
Richard Hardy

Respuestas:

9

Preguntas:

¿Cómo es que un regresor irrelevante resulta estadísticamente significativo?

Creo que es útil pensar en lo que sucede cuando el tamaño de la muestra se acerca a la población. Las pruebas de significación tienen la intención de darle una idea de si no existe un efecto en la población. Esta es la razón por la cual cuando se trabaja con datos del censo (que encuesta a la población), las pruebas de significación no tienen sentido (porque, ¿a qué intentan generalizar?).

Con eso en mente, ¿qué significa "un efecto en la población"? Simplemente significa cualquier relación entre variables en la población, independientemente de cuán pequeña (ya sea una diferencia de 1 punto o 1 persona), incluso si esa relación se debe a la posibilidad y la aleatoriedad en el universo.

Por lo tanto, a medida que su muestra se acerca al tamaño de la población, las pruebas de significación se vuelven cada vez menos significativas porque cualquier diferencia será "estadísticamente significativa". Lo que le interesaría más es el tamaño del efecto, que es análogo a "prácticamente significativo".

¿Debería buscar una explicación del tema (es decir, tratar de negar la irrelevancia) o es un fenómeno estadístico?

Es un fenómeno: debe observar los tamaños de los efectos.

QxV
fuente
Menciona algo que estaba buscando intuitivamente pero que no había formulado con éxito. El efecto en la población puede ser cualquier relación entre variables en la población, independientemente de cuán pequeña (ya sea una diferencia de 1 punto o 1 persona), incluso si esa relación se debe al azar y al azar en el universo. Si estos efectos se deben al azar, no necesito buscar ninguna explicación del tema. ¡Gracias!
Richard Hardy
Por cierto, su argumento tiene un sentido intuitivo en los casos en que uno está probando, por ejemplo, la igualdad de medios o si el efecto del tratamiento es exactamente cero. Pero, ¿qué pasa con la importancia de los regresores en una regresión múltiple? ¿Podrías tal vez expresar tu punto en un contexto de regresión para que pueda seguirte más fácilmente?
Richard Hardy
1
Hmm, creo que la analogía es directamente relevante. Por ejemplo, si imagina que el consumo de chocolate no tiene ningún efecto sobre la esperanza de vida, después de ajustar las variables de control, como la cantidad de ejercicio, etc., pero una persona de la población de 6 mil millones de personas es un caso atípico, habrá una población " efecto "del consumo de chocolate en la esperanza de vida, pero el tamaño del efecto será minúsculo. Con suerte, ese ejemplo fue útil, pero tuve problemas para pensar cómo un coeficiente de regresión sería diferente de cualquier otro parámetro.
QxV
3
Estoy un poco confundido acerca de por qué las pruebas de significación no tienen sentido si se toma una muestra de toda la "población" (si por población se refiere a la población real). Si quiero probar algo sobre las personas y mi muestra es de 7 mil millones de personas, entonces seguramente puedo ejecutar una prueba de significación y podría rechazar o no rechazar la hipótesis nula. No veo por qué debería ser conceptualmente sin sentido. La "generalización" que mencionó puede referirse, por ejemplo, a las generaciones futuras o algo así. (CC @ Richard.)
ameba
1
@amoeba: Creo que las pruebas de significación estadística solo tienen sentido para una muestra, no para una población. Una vez que observamos a toda la población, todo nuestro conocimiento es perfecto: no hay incertidumbre en la estimación de parámetros ni nada similar. Podemos medir cualquier relación exactamente. (Eso no significa que tendremos una explicación perfecta del tema para todas las relaciones, pero eso no viene al caso). Mientras tanto, si generaliza a las generaciones futuras, eso hace que la población actual sea solo una muestra del {actual + futuro} población. Entonces las pruebas de significación estadística están de vuelta en el juego.
Richard Hardy
2

Incluso si el tamaño de su muestra no se acerca a su población, los efectos pequeños se vuelven significativos en muestras grandes. Esto es una consecuencia de lo que significa significancia estadística:

Si, en la población de la que se tomó esta muestra, la hipótesis nula era cierta, ¿es probable (XX%) que obtengamos una estadística de prueba al menos tan grande en una muestra del tamaño que tenemos?

Si su pregunta es sobre todas las personas en la Tierra, entonces si toma una muestra de 1,000,000 (no cercana a 7,000,000,000), incluso los efectos muy pequeños serán significativos, porque es muy poco probable encontrar tales estadísticas de prueba en muestras grandes cuando el valor nulo es verdadero .

Hay muchos problemas con las pruebas de significación, discutidos en muchos lugares. Este es uno de ellos. La "cura" es mirar los tamaños del efecto y los intervalos de confianza.

Peter Flom
fuente
1
¡Gracias! Creo que entiendo el mecanismo de cómo esos pequeños efectos se convierten en estadísticamente significativos dada una muestra lo suficientemente grande. La pregunta central es, ¿por qué esos pequeños efectos están presentes en la población para empezar? ¿Se producen principalmente debido a la "aleatoriedad en el universo"? ¿O representan algunas relaciones reales de la materia (no debido al azar) que tendemos a descuidar cuando pensamos en ellas desde el punto de vista de la materia?
Richard Hardy
44
Yo diría lo último.
Ben Bolker
@BenBolker ¿Podría por favor proporcionar algún razonamiento? Eso podría ser muy útil.
Richard Hardy
3
Estoy de acuerdo con Ben Casi dos variables van a estar relacionadas en algún grado; y los que nos pegamos a los modelos tienen muchas más probabilidades de estar relacionados. No (y no deberíamos) simplemente arrojar basura a los modelos.
Peter Flom
2

He tomado prestada información de @QxV para proporcionar una explicación de la presencia de un efecto de población, incluso si el conocimiento del tema no sugiere tal efecto.

Supongamos que hay un proceso de generación de población (PGP) que genera poblaciones con características y y x. La fórmula PGP es tal quey y xson independientes hasta un término de error aleatorio. Precisamente debido a este término de error aleatorio, cualquier realización finitayrealized y xrealized tiene probabilidad cero de falta de correlación exacta, es decir P(yrealized⊥xrealized)=0. Si es así, con probabilidad uno hay un efecto de población. Así es como se producen los efectos en la población.

Una vez que existe un efecto de población, es una cuestión de tamaño de la muestra cuándo lo detectaremos en la muestra y cuándo será estadísticamente significativo.

Richard Hardy
fuente
2

Además de las excelentes respuestas ya publicadas, intentaré desde otro punto de vista. Todos los modelos son aproximaciones, en cierto sentido ... Mire algún modelo de regresión, y alguna variable irrelevante es significativa. ¿Qué puede explicarlo?

  1. Tal vez simplemente no sea irrelevante, que el consenso científico actual sobre ese asunto sea simplemente incorrecto . Aparte de eso:

  2. Podría ser un sustituto o proxy para alguna variable omitida que sea relevante y que esté correlacionada con la variable irrelevante.

  3. Algunas variables relevantes, incluidas linealmente en el modelo, podrían estar actuando de manera no lineal, y su variable irrelevante podría ser un sustituto de esa parte de la variable relevante.

  4. Alguna interacción entre dos variables relevantes es importante, pero no se incluye en el modelo. Su variable irrelevante podría ser un sustituto de esa interacción omitida.

  5. La variable irrelevante podría estar muy altamente correlacionada con alguna variable importante, dando lugar a coeficientes negativamente correlacionados. Esto podría ser importante especialmente si hay errores de medición en estas variables.

  6. Podría haber algunas observaciones con un apalancamiento muy alto, lo que lleva a estimaciones extrañas.

Seguramente otros ... un punto importante es que un modelo de regresión lineal podría ser una muy buena aproximación con una muestra pequeña, solo los efectos grandes serán significativos. Pero una muestra más grande conducirá a una varianza más baja, pero no puede reducir el sesgo debido a las aproximaciones . Entonces, con muestras más grandes, esas deficiencias del modelo se vuelven manifiestas y eventualmente dominarán sobre la varianza.

kjetil b halvorsen
fuente
-1

No. Los regresores irrelevantes no se vuelven estadísticamente significativos a medida que aumenta el tamaño de la muestra. Pruebe el siguiente código en R.

y <- rnorm (10000000)

x <- rnorm (10000000)

resumen (lm (y ~ x))

David
fuente
1
¿Repitió ese código, digamos, 1000 veces (o más) y vio lo que sucederá?
kjetil b halvorsen
Tendrá una tasa de falsos positivos del 5%, como se esperaba. Pero lo mismo se obtiene independientemente del tamaño de la muestra
David
Ver mi respuesta para otro punto de vista
kjetil b halvorsen
Entiendo su publicación, y para las relaciones "de tipo lineal" es cierto (como lo es para las relaciones reales "lineales") Sin embargo, si cambia 10000000 por 10 en mi código, ahora no es menos probable que obtenga un falso positivo en la prueba F
David
¡Gracias por su respuesta! Si bien es correcto por sí solo, creo que pierde el punto de la pregunta. La pregunta está motivada por la observación de que a menudo encontramos relaciones estadísticamente significativas que no tienen una explicación del tema.
Richard Hardy