¿Se puede entrenar un modelo de P (Y | X) a través del descenso de gradiente estocástico a partir de muestras de P (X) sin iid y muestras de P (Y

Cuando se entrena un modelo parametrizado (por ejemplo, para maximizar la probabilidad) a través del descenso de gradiente estocástico en algún conjunto de datos, se supone comúnmente que las muestras de entrenamiento se extraen de la distribución de datos de entrenamiento. Entonces, si el objetivo es modelar una distribución conjunta , entonces cada muestra de entrenamiento debe extraerse de esa distribución. $P(X,Y)$ $(x_i,y_i)$

Si el objetivo es, en cambio, modelar una distribución condicional , entonces, ¿cómo cambia el requisito de iid, si es que lo hace? $P(Y|X)$

¿Debemos extraer cada muestra iid de la distribución conjunta? $(x_i,y_i)$
¿Deberíamos dibujar iid de , luego dibujar iid de ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$
¿Podemos dibujar no iid de (por ejemplo, correlacionado con el tiempo), y luego dibujar iid de ? $x_i$ $P(X)$ $y_i$ $P(Y|X)$

¿Puedes comentar sobre la validez de estos tres enfoques para el descenso de gradiente estocástico? (O ayúdame a reformular la pregunta si es necesario).

Me gustaría hacer el # 3 si es posible. Mi aplicación está en aprendizaje de refuerzo, donde estoy usando un modelo condicional parametrizado como política de control. La secuencia de estados está altamente correlacionada, pero las acciones se muestrean a partir de una política estocástica condicionada por el estado. Las muestras resultantes (o un subconjunto de ellas) se utilizan para entrenar la política. (En otras palabras, imagine ejecutar una política de control durante mucho tiempo en algún entorno, reuniendo un conjunto de datos de muestras de estado / acción. Luego, aunque los estados se correlacionan con el tiempo, las acciones se generan independientemente, condicionadas por el estado). Esto es algo similar a la situación en este documento . $x_i$ $y_i$ $(x_i,y_i)$

Encontré un artículo, Ryabko, 2006, " Reconocimiento de patrones para datos condicionalmente independientes ", que al principio parecía relevante; sin embargo, allí la situación se invierte de lo que necesito, donde (la etiqueta / categoría / acción) se puede dibujar no iid de , y (el objeto / patrón / estado) se dibuja iid de . $y_i$ $P(Y)$ $x_i$ $P(X|Y)$

Actualización: Dos documentos ( aquí y aquí ) mencionados en el documento de Ryabko parecen relevantes aquí. Asumen que proviene de un proceso arbitrario (por ejemplo, no iid, posiblemente no estacionario). Muestran que los estimadores de kernel y vecinos más cercanos son consistentes en este caso. Pero estoy más interesado en saber si la estimación basada en el descenso de gradiente estocástico es válida en esta situación. $x_i$

machine-learning conditional-probability reinforcement-learning gradient-descent Tyler Streeter
fuente

Tal vez me falta algo, y no he leído el documento, pero: estás dibujando no iid de y luego muestreando iid de . Ryabko (2006) está dibujando no iid de y luego muestreando iid de . Estos parecen lo mismo hasta el cambio de nombre. ¿Hay algo fundamentalmente diferente en los objetos e que hace que esta no sea la misma situación?

x_{i}

$x_i$

P (X)

$P(X)$

y_{i}

$y_i$

P (Y ∣ X)

$P(Y \mid X)$

y_{i}

$y_i$

P (Y)

$P(Y)$

x_{i}

$x_i$

P (X ∣ Y)

$P(X \mid Y)$

x

$x$

y

$y$

Dougal

@Dougal: La diferencia es que los modelos de distribución condicional, como los campos aleatorios condicionales, tratan a e (las "entradas" y "salidas") de manera diferente ... modelan solo una dirección ( pero no ).

X

$X$

Y

$Y$

P (Y | X)

$P(Y|X)$

P (X | Y)

$P(X|Y)$

Tyler Streeter

Consideraría la siguiente analogía en este caso. Supongamos que y son dos series de tiempo correlacionadas (correlación en el tiempo). Nos gustaría descubrir una función , que es equivalente a encontrar . Si , que es el residual, es IID (por lo tanto, estacionario y no correlacionado), entonces el procedimiento de estimación converge sin sesgo. Básicamente, el procesamiento de la serie de tiempo en orden de tiempo o cualquier orden aleatorio no debería importar en un procedimiento MLE siempre que la probabilidad condicional se especifique correctamente y los residuos sean IID.

Y_{i}

$Y_i$

X_{i}

$X_i$

Y_{i} = f (X_{i}; θ)

$Y_i = f(X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

P (Y_{i} | X_{i}; θ)

$P(Y_i|X_i;\theta)$

Cagdas Ozgenc

Creo que podría hacer 2 o 3. Sin embargo, el problema con 3 es que al permitir distribuciones arbitrarias para X, incluye distribuciones que tendrían toda o casi toda la probabilidad concentrada en un pequeño intervalo en el espacio x. Esto dañaría la estimación general de P (Y | X) porque tendría pocos o ningún dato para ciertos valores de X.

Michael R. Chernick
fuente

Entonces, ¿está diciendo que con el enfoque # 3, obtendría un resultado imparcial con una varianza potencialmente alta?

Tyler Streeter

Si no hay datos en o cerca de un punto x entonces ni siquiera puede estimar P (Y | X = x ) y si solo hay unos pocos puntos, la varianza de la estimación será grande.

_{1}

$_1$

_{1}

$_1$

Michael R. Chernick

Sí, eso tiene sentido que la variación podría ser grande. Creo que mi principal preocupación es si el P (Y | X) estimado estará sesgado.

Tyler Streeter

No discutimos una estimación puntual. Si tiene estimaciones imparciales para P (X), P (Y) y P (X | Y) y las conecta a la fórmula P (Y | X) = P (X | Y) P (Y) / P (X) obtendrá una estimación sesgada.

Michael R. Chernick

Debo enfatizar que estoy hablando de estimar P (Y | X) a través del descenso de gradiente estocástico, en cuyo caso el orden de las muestras de entrenamiento puede influir en qué tan rápido o si converge al modelo correcto. No solo estoy usando promedios de muestra, donde el orden de las muestras no importa.

Tyler Streeter

¿Se puede entrenar un modelo de P (Y | X) a través del descenso de gradiente estocástico a partir de muestras de P (X) sin iid y muestras de P (Y | X)?

Respuestas: