Regresión lineal: ¿alguna distribución no normal que proporcione identidad de OLS y MLE?

Esta pregunta está inspirada en la larga discusión en los comentarios aquí: ¿Cómo usa la regresión lineal la distribución normal?

En el modelo de regresión lineal habitual, para simplificar aquí escrito con un solo predictor:

$$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$$ donde $x_i$ son constantes conocidas y $\epsilon_i$ son términos de error independientes de media cero. Si además asumimos distribuciones normales para los errores, entonces los estimadores de mínimos cuadrados usuales y los estimadores de máxima verosimilitud de $\beta_0, \beta_1$ son idénticos.

Entonces, mi pregunta fácil: ¿existe alguna otra distribución para los términos de error de manera que el mle sea idéntico al estimador de mínimos cuadrados ordinario? La una implicación es fácil de mostrar, la otra no.

En la estimación de máxima verosimilitud, calculamos

$$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$$

la última relación teniendo en cuenta la estructura de linealidad de la ecuación de regresión.

En comparación, el estimador OLS satisface

$$\sum \epsilon_i\mathbf x_i = \mathbf 0$$

Para obtener expresiones algebraicas idénticas para los coeficientes de pendiente, necesitamos tener una densidad para el término de error tal que

$$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$$

Estas son ecuaciones diferenciales de la forma que tienen soluciones$y' = \pm\; xy$

$$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$$

$$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$$

Cualquier función que tenga este núcleo y se integre a la unidad sobre un dominio apropiado, hará que el MLE y el OLS sean idénticos para los coeficientes de pendiente. A saber estamos buscando

$$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$$

¿Existe tal que no sea la densidad normal (o la media normal o la derivada de la función de error)? $g$

Ciertamente. Pero una cosa más que hay que tener en cuenta es lo siguiente: si se usa el signo más en el exponente y un soporte simétrico alrededor de cero, por ejemplo, se obtendrá una densidad que tiene un mínimo único en el medio y dos máximos locales en Los límites del soporte.

$$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $f(y|x,\beta_0,\beta_1)$ $$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$$ $$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$$ are acceptable since the factor $f_0(y|x)$ does not depend on the parameter $(\beta_0,\beta_1)$. There is therefore an infinity of such distributions.

Another setting where both estimators coincide is when the data comes from a spherically symmetric distribution, namely when the (vector) data $\mathbf{y}$ has conditional density

$$h(||\mathbf{y}-\mathbf{X}\beta||)$$ with $h(\cdot)$ a decreasing function. (In this case the OLS is still available although the assumption of the independence of the $\epsilon_i$'s only holds in the Normal case.)

I didn't know about this question until @Xi'an just updated with an answer. There is a more generic solution. Exponential family distributions with some parameters fixed yield to Bregman divergences. For such distributions mean is the minimizer. OLS minimizer is also the mean. Therefore for all such distributions they should coincide when the linear functional is linked to the mean parameter.

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf