Traducción del problema de aprendizaje automático al marco de regresión

Supongamos que tengo un panel de variables explicativas , para , , así como un vector de variables dependientes de resultados binarios . Por lo tanto, solo se observa en el momento final y no en ningún momento anterior. El caso totalmente general es tener múltiples para para cada unidad en cada momento , pero centrémonos en el caso por brevedad. $X_{it}$ $i = 1 ... N$ $t = 1 ... T$ $Y_{iT}$ $Y$ $T$ $X_{ijt}$ $j=1...K$ $i$ $t$ $K=1$

Las aplicaciones de tales pares "desequilibrados" con variables explicativas temporales correlacionadas son, por ejemplo, (precios diarios de acciones, dividendos trimestrales), (informes meteorológicos diarios, huracanes anuales) o (características de posición de ajedrez después de cada movimiento, resultado de ganancia / pérdida en El final del juego). $(X, Y)$

Estoy interesado en los coeficientes de regresión (posiblemente no lineales) para hacer predicciones de , sabiendo que en los datos de entrenamiento, dadas las primeras observaciones de para , conduce al resultado final $\beta_t$ $Y_{it}$ $X_{it}$ $t < T$ $Y_{iT}$

$\hat{Y}_{it} = f(\sum_{k=1}^{t} X_{ik} \beta_k), \quad t = 1 ... T$

Viniendo de un fondo econométrico, no he visto muchos modelos de regresión aplicados a tales datos. OTOH, he visto las siguientes técnicas de aprendizaje automático que se aplican a dichos datos:

haciendo aprendizaje supervisado en todo el conjunto de datos, por ejemplo, minimizando

$\sum_{i,t}\frac{1}{2}(Y_{it} - f(X_{it} \beta_t))^2$

simplemente extrapolando / imputando la observada a todos los puntos anteriores en el tiempo $Y$

$Y_{it} \equiv Y_{iT}, \quad t = 1... T-1$

Esto se siente "mal" porque no tendrá en cuenta la correlación temporal entre los diferentes puntos en el tiempo.

haciendo aprendizaje de refuerzo como la diferencia temporal con el parámetro de aprendizaje y el parámetro de descuento , y resolviendo recursivamente través de la propagación hacia atrás a partir de $\alpha$ $\lambda$ $\beta_t$ $t=T$

$\Delta \beta_{t} = \alpha (\hat{Y}_{t+1} - \hat{Y}_{t}) \sum_{k=1}^{t} \lambda^{t-k} \nabla_{\beta} \hat{Y}_{k}$

con el gradiente de con respecto a . $\nabla_{\beta} \hat{Y}$ $f()$ $\beta$

Esto parece más "correcto" porque tiene en cuenta la estructura temporal, pero los parámetros y son algo "ad hoc". $\alpha$ $\lambda$

Pregunta : ¿existe literatura sobre cómo mapear las técnicas de aprendizaje supervisadas / de refuerzo anteriores en un marco de regresión como se usa en la estadística / econometría clásica? En particular, me gustaría poder estimar los parámetros en "one go" (es decir, para todos los simultáneamente) haciendo mínimos cuadrados (no lineales) o máxima verosimilitud en modelos como $\beta_{t}$ $t=1...T$

$Y_{iT} = f(\sum_{t=1}^T X_{it} \beta_{t}) + \epsilon_{i}$

También me interesaría saber si los metaparámetros de aprendizaje de diferencia temporal y podrían recuperarse de una formulación de máxima verosimilitud. $\alpha$ $\lambda$

regression machine-learning reinforcement-learning TemplateRex
fuente

¿Podría aclarar la formulación en el tercer párrafo? Escribe que desea predecir partir de , , pero la siguiente fórmula sugiere que desea predecir .

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

t < T

$t < T$

Y_{i t}

$Y_{it}$

NRH

@NRH en realidad, solo observo , pero lo que he visto en la literatura sobre aprendizaje supervisado es que imputan que observado sea igual a y luego hacen el ajuste para explicar realmente esta falsa de (esto se hace en aplicaciones de juego, donde se ajusta una función de evaluación para cada posición en el resultado final del juego). Lo siento si esto no estaba claro en mi formulación inicial. En cualquier caso, sería el "resultado" predicho (en aplicaciones de juegos) dados los eventos observados .

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

X_{i t}

$X_{it}$

TemplateRex

Entiendo la configuración y lo que observa, pero su formulación en la pregunta no está clara. ¿Desea entrenar un modelo para predecir medida que escribe en palabras, o desea entrenar un modelo para predecir para todas las como sugieren las fórmulas? Quizás sea solo un error tipográfico. Cuando escribe "... predicción de ...", ¿quiere decir "... predicción de ..."?

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

t

$t$

Y_{i T}

$Y_{iT}$

Y_{i t}

$Y_{it}$

NRH

No está claro por qué quieres hacer esto. Si puede explicar la aplicación práctica real, puede obtener respuestas más claras. En general, la mejor predicción para cada intervalo de tiempo será simplemente hacer una regresión de en los datos disponibles por separado para cada t. No es obvio que un enfoque simultáneo tenga algún beneficio. Creo que debe especificar el modelo estadístico para su conjunto de datos y luego tal vez los beneficios sean más claros.

Y_{T}

$Y_T$

X_{1}, \dots, X_{t}

$X_1,\dots,X_t$

seanv507

@NRH, sí, quiero predecir partir de sabiendo que conduce al resultado en los datos de entrenamiento, para tomar acciones óptimas para los datos de prueba donde también observo pero aún no he observado el resultado. Actualizaré mi formulación.

Y_{i t}

$Y_{it}$

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

X_{i t}

$X_{it}$

TemplateRex

Respuestas:

La descripción del problema no es del todo clara para mí, así que trato de adivinar algunas suposiciones. Si esto no responde a su pregunta, al menos podría ayudar a aclarar más los problemas.

Lo primero que no me queda claro son los datos en los que desea basar su predicción. Si desea predecir basándose en los datos observados hasta entonces un enfoque recursivo como en su método 2. no tiene sentido ya que esto usaría datos futuros, es decir, con . $Y_T$ $t<T$ $X_\tau$ $\tau>t$

En segundo lugar, no indica cuáles serán las propiedades de su predicho . Generalmente, dada la información en el tiempo la expectativa condicional es el "mejor predictor" de en el sentido L2. En caso de que realmente quiera predecir la expectativa condicional, los mínimos cuadrados ordinarios es el método de elección para la estimación práctica. $Y_t$ $X_1,\ldots, X_t$ $t<T$ $Y_t=\text{E}[Y_T \mid X_1,\ldots, X_t]$ $Y_T$

Además, no entiendo su comentario sobre las correlaciones que no se reflejan en la regresión basada en . Esto incorpora todo lo que sabe hasta incluyendo las correlaciones entre sus observaciones. $X_1, \ldots, X_t$ $t$

Resumiendo y formulando esto como una respuesta: si desea hacer una predicción óptima en el sentido L2, basándose solo en los datos observados hasta , puede usar la regresión de mínimos cuadrados. $t<T$

gg
fuente

en los datos de entrenamiento, quiero utilizar el hecho de que una observación dada conducirá estadísticamente al resultado para predecir para los datos de prueba donde no observo hasta después. Si, por ejemplo, sabe que después de 3 días ventosos es probable que llueva el día 7, desea utilizar esa información para decirle a la gente que traiga paraguas después del fin de semana después de unos días ventosos antes.

X_{i t}

$X_{it}$

Y_{i T}

$Y_{iT}$

{\hat{Y}}_{i t}

$\hat{Y}_{it}$

Y_{i T}

$Y_{iT}$

TemplateRex

La ventaja de las diferencias temporales es que te permiten aprender de episodios incompletos. Por lo tanto, las secuencias en las que no ha llegado a la Y final todavía se pueden usar para adaptarse al modelo; estimaciones posteriores se utilizan en su lugar. El efecto es similar a la imputación de datos ocultos; implícitamente estás imputando el resto de la secuencia de acuerdo con tu modelo actual.
Los modelos de diferencia temporal normalmente se entrenan por descenso de gradiente estocástico . controla la tasa de aprendizaje. Demasiado alto y el método divergerá. Demasiado bajo y la convergencia a un óptimo local será muy lenta. Pero la convergencia siempre debe ser con el mismo modelo. Aquí, $\alpha$
$\gamma$ controla el esfuerzo relativo dado a las predicciones dependiendo de qué tan lejos estén del final de una secuencia. Debido a que estas secuencias tienen una longitud finita, puede establecer esto en , para poner el mismo peso en todas las estimaciones. $\gamma=1$

nsweeney
fuente

α

$\alpha$

γ

$\gamma$

α

$\alpha$

γ

$\gamma$