Regularización L2 versus reducción de efectos aleatorios

Una propiedad fundamental de la regresión de efectos aleatorios es que las estimaciones de interceptación aleatoria se "reducen" hacia la media general de la respuesta en función de la varianza relativa de cada estimación.

Este es también el caso de los modelos lineales mixtos generalizados (GLMM) como la regresión logística.

¿Cómo es esa contracción mejor que / diferente de la regresión logística de efectos fijos con una codificación en caliente de las variables ID y la contracción mediante la regularización L2?

En un modelo de efectos fijos, puedo controlar la cantidad de contracción cambiando mi penalización, $\lambda$, de la regularización de L2 mientras que en un modelo de efectos aleatorios no tengo control sobre la cantidad de contracción. ¿Sería correcto decir "usar el modelo de efectos aleatorios si el objetivo es inferencia pero usar el modelo de efectos fijos si el objetivo es predicción"?

Eso está un poco simplificado. La reducción en una regresión de efectos mixtos está ponderada por el equilibrio general entre "clases" / "grupos" en las estructuras de efectos aleatorios, por lo que no es que no pueda elegir, sino que el tamaño y la fuerza de su grupo la evidencia elige. (Piense en ello como una gran media ponderada). Además, los modelos de efectos mixtos son muy útiles cuando tiene varios grupos, pero solo muy pocos datos en cada grupo: ¡la estructura general y la agrupación parcial permiten mejores inferencias incluso dentro de cada grupo!

También hay variantes de LASSO (regularizado L1), cresta (regularizado L2) y red elástica (combinación de regularización L1 y L2) de modelos mixtos. En otras palabras, estas cosas son ortogonales. En términos bayesianos, obtiene una reducción de efectos mixtos a través de la estructura de su modelo jerárquico / multinivel y la regularización a través de su elección de la distribución de coeficientes del modelo.

Quizás la confusión surge del uso frecuente de la regularización en el "aprendizaje automático" (donde la predicción es el objetivo) pero el uso frecuente de efectos mixtos en las "estadísticas" (donde la inferencia es el objetivo), pero eso es más un efecto secundario de otros aspectos de conjuntos de datos comunes en tales áreas (por ejemplo, tamaño) y preocupaciones computacionales. Los modelos de efectos mixtos son generalmente más difíciles de ajustar, por lo que si un modelo de efectos fijos regularizado que ignora alguna estructura de los datos es lo suficientemente bueno para las predicciones que necesita, puede que no valga la pena ajustar un modelo de efectos mixtos. Pero si necesita hacer inferencias en sus datos, ignorar su estructura sería una mala idea.