Diferencia entre promediar datos luego ajustar y ajustar los datos luego promediar

Si corresponde, entre ajustar una línea a múltiples "experimentos" separados y luego promediar los ajustes, o promediar los datos de los experimentos separados y luego ajustar los datos promediados. Déjame elaborar:

Realizo simulaciones por computadora que generan una curva, que se muestra a continuación. Extraemos una cantidad, llamémosla "A" ajustando la región lineal de la gráfica (tiempos largos). El valor es simplemente la pendiente de la región lineal. Por supuesto, hay un error asociado con esta regresión lineal.

Por lo general, ejecutamos más o menos 100 de estas simulaciones con diferentes condiciones iniciales para calcular un valor promedio de "A". Me han dicho que es mejor promediar los datos sin procesar (de la gráfica a continuación) en grupos de digamos 10, luego ajustarlos para "A" y promediar esos 10 "A" juntos.

No tengo intuición sobre si hay algún mérito en eso o si es mejor que ajustar 100 valores "A" individuales y promediarlos.

Imagine que estamos en un contexto de datos de panel donde hay variaciones a lo largo del tiempo entre las empresas . Piense en cada período de tiempo como un experimento separado. Entiendo su pregunta como si es equivalente estimar un efecto usando:i $t$$i$$t$

• Variación transversal en promedios de series de tiempo.
• Promedios de series temporales de variación transversal.

La respuesta en general es no.

La puesta en marcha:

En mi formulación, podemos pensar en cada período de tiempo como un experimento separado.$t$

Supongamos que tiene un panel equilibrado de longitud sobre empresas. Si cada período de tiempo etc ... podemos escribir los datos generales como:n ( X t , y t$T$$n$$(X_t, \mathbf{y}_t)$

$$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$$

Promedio de ajustes:

$$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$$

Ajuste de promedios:

En general, esto no es igual a la estimación basada en la variación transversal de los promedios de series de tiempo (es decir, entre el estimador).

$$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$$

Donde etc.$\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

Estimación de OLS agrupada:

Algo que quizás sea útil pensar es la estimación agrupada de MCO. ¿Qué es? Luego usebt=(X

$$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$$ $\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$ $$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$$

Vamos a y ser nuestras estimaciones de sobre la muestra completa y en el período respectivamente. Entonces nosotros tenemos:$S = \frac{1}{nT} \sum_i X'X$$S_t = \frac{1}{n} X_t'X_t$$\operatorname{E}[\mathbf{x}\mathbf{x}']$$t$

$$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$$

Esto es algo así como un promedio de las estimaciones específicas de tiempo diferentes , pero es un poco diferente. En cierto sentido, estás dando más peso a los períodos con mayor varianza de las variables del lado derecho.$\mathbf{b}_t$

Caso especial: las variables del lado derecho son invariables en el tiempo y específicas de la empresa

Si las variables del lado derecho para cada empresa son constantes a lo largo del tiempo (es decir, para cualquier y ) entonces para todo y tendríamos:X t 1 = X t $i$$X_{t_1} = X_{t_2}$$t_1$$t_2$$S = S_t$$t$

$$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$$

Comentario divertido:

Este es el caso de Fama y Macbeth cuando aplicaron esta técnica de promediar estimaciones transversales para obtener errores estándar consistentes al estimar cómo los rendimientos esperados varían con la covarianza de las empresas con el mercado (u otras cargas de factores).

El procedimiento Fama-Macbeth es una forma intuitiva de obtener errores estándar consistentes en el contexto del panel cuando los términos de error están correlacionados de forma transversal pero son independientes en el tiempo. Una técnica más moderna que produce resultados similares es la agrupación a tiempo.

(Nota: no tengo suficiente reputación para comentar, así que publico esto como respuesta).

Para la pregunta particular planteada, la respuesta de fcop es correcta: ajustar el promedio es lo mismo que promediar los ajustes (al menos para mínimos cuadrados lineales). Sin embargo, vale la pena mencionar que cualquiera de estos enfoques ingenuos "en línea " puede dar resultados sesgados, en comparación con el ajuste de todos los datos a la vez. Como los dos son equivalentes, me enfocaré en el enfoque de "ajustarse al promedio". Esencialmente, el ajuste de las curvas promediadas ignora la incertidumbre relativa en los valores entre los diferentes puntos . Por ejemplo, si , e , entoncesyxy1[x1]=y2[x1]=2y1[x2]=1y1[x2]=3 ˉ y 1x$\bar{y}[x]=\langle y[x]\rangle$$y$$x$$y_1[x_1]=y_2[x_1]=2$$y_1[x_2]=1$$y_1[x_2]=3$$\bar{y}[x_1]=\bar{y}[x_2]=2$ , pero cualquier ajuste de curva debería preocuparse mucho más por el desajuste en comparación con .$x_1$$x_2$

Tenga en cuenta que la mayoría de las plataformas de software científicas deberían tener herramientas para calcular / actualizar un verdadero ajuste de mínimos cuadrados "en línea" (conocido como mínimos cuadrados recursivos ). Por lo tanto, se pueden usar todos los datos (si esto es deseable).