¿Qué es la contracción?

13

La palabra contracción se usa mucho en ciertos círculos. Pero lo que es la contracción, no parece haber una definición clara. Si tengo una serie temporal (o una colección de observaciones de algún proceso), ¿cuáles son las diferentes formas en que puedo medir algún tipo de contracción empírica en la serie? ¿Cuáles son los diferentes tipos de contracción teórica de los que puedo hablar? ¿Cómo puede ayudar la contracción en la predicción? ¿Pueden las personas proporcionar una buena visión o referencias?

estimation predictive-models shrinkage Wintermute
fuente
1
Steyergerg: aplicación de técnicas de contracción en el análisis de regresión logística: un estudio de caso y contracción y la probabilidad penalizada como métodos para mejorar la precisión predictiva son buenos lugares para comenzar. Tampoco es de código abierto (creo), pero Google encontrará artículos originales.
Charles
3
Cualquier forma de regularización de un estimador que mueve (encoge) una estimación (generalmente hacia 0 o algún otro valor 'nulo' / conocido); de hecho, la regularización que mueve una colección de estimaciones entre sí también es una especie de contracción (mueve los parámetros que representan sus diferencias hacia 0). Si aún no lo ha visto, el artículo de Wikipedia puede ser útil.
Glen_b -Reinstalar Monica
¿Qué pasa con la contracción empírica? Supongamos que tengo una serie de tiempo para la que estoy ajustando un modelo. ¿Puedo hablar sobre algún tipo de contracción entre el ajuste dentro de la muestra y el rendimiento fuera de la muestra?
Wintermute

Respuestas:

2

En 1961, James y Stein publicaron un artículo llamado "Estimación con pérdida cuadrática" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Si bien no acuña específicamente el término contracción, discuten los estimadores minimax para estadísticas de alta dimensión (en realidad incluso para una ubicación de 3 parámetros) que tienen menos riesgo (pérdida esperada) que el MLE habitual (cada componente es el promedio de la muestra) para datos normales . Bradley Efron llama a su hallazgo "el teorema más sorprendente de las estadísticas matemáticas de posguerra". Este artículo ha sido citado 3,310 veces.

Copas en 1983 escribe el primer artículo Regresión, Predicción y Contracción para acuñar el término "contracción". Se define implícitamente en el resumen:

El ajuste de un predictor de regresión a nuevos datos es casi siempre peor que su ajuste a los datos originales. La anticipación de esta contracción conduce a predictores de tipo Stein que, bajo ciertos supuestos, dan un error cuadrático medio de predicción uniformemente más bajo que los mínimos cuadrados.

Y en toda investigación sucesiva, parece que la contracción se refiere a las características operativas (y estimaciones de las mismas) para la validez de predicción y estimación fuera de la muestra en el contexto de encontrar estimadores admisibles y / o mínimos.

AdamO
fuente
2

Esto se trata de regularización. Supongamos que desea ajustar una curva y utiliza una función de pérdida cuadrada (puede elegir diferentes). Porfitdesea recuperar los parámetros que rigen el proceso que generó esa curva. Ahora imagine que le gustaría ajustar esta curva usando el polinomio número 100 (solo por ejemplo). Es muy probable que vaya a sobreajustar o capturar cada torcedura y ruido de la curva. Además, sus capacidades de predicción fuera del intervalo de datos de entrenamiento dado serán probablemente muy pobres. Por lo tanto, el término de regularización se agrega a la función objetivo con algo de peso multiplicado por el factor de regularización: l_1, l_2 o personalizado. En el caso de l_2, que es más simple de entender, esto tendrá el efecto de que los valores de los parámetros grandes se verán obligados a reducir la contracción aka. Puede pensar en la regularización o la reducción como una forma de conducir su algoritmo a una solución que podría ser una mejor solución.

Vladislavs Dovgalecs
fuente