¿Cuál es la diferencia entre modelo determinista y estocástico?

Modelo lineal simple:

$x=\alpha t + \epsilon_t$ donde ~ iid $\epsilon_t$ $N(0,\sigma^2)$

con y $E(x) = \alpha t$ $Var(x)=\sigma^2$

AR (1):

$X_t =\alpha X_{t-1} + \epsilon_t$ donde ~ iid $\epsilon_t$ $N(0,\sigma^2)$

con y $E(x) = \alpha t$ $Var(x)=t\sigma^2$

Por lo tanto, un modelo lineal simple se considera un modelo determinista, mientras que un modelo AR (1) se considera un modelo estocástico.

Según un video de Youtube de Ben Lambert - Deterministic vs Stochastic , la razón de que AR (1) se llame como modelo estocástico es porque la varianza aumenta con el tiempo. Entonces, ¿la característica de la varianza no constante es el criterio para determinar el estocástico o determinista?

Tampoco creo que el modelo lineal simple sea totalmente determinista, ya que tenemos un término asociado con el modelo. Por lo tanto, siempre tenemos una aleatoriedad en . Entonces, ¿hasta qué punto podemos decir que un modelo es determinista o estocástico? $\epsilon_t$ $x$

regression stochastic-processes autoregressive deterministic Ken T
fuente

Cualquier modelo que tenga un término de error es estocástico. No tiene nada que ver con la variación que tiene que cambiar con el tiempo.

Michael R. Chernick

@MichaelChernick No entiendo. Entonces, ¿por qué la gente dice que la regresión lineal simple es un modelo determinista?

Ken T

¿Podría proporcionar un enlace para mostrar dónde se dice esto y por qué se dice?

Michael R. Chernick

Fue de mis notas del curso de análisis de series de tiempo hace unos años. Tal vez está mal.

Ken T

Respuestas:

El video habla de tendencias deterministas versus estocásticas , no de modelos . Lo más destacado es muy importante. Ambos modelos son estocásticos, sin embargo, en el modelo 1 la tendencia es determinista.

El modelo 2 no tiene tendencia. El texto de tu pregunta es incorrecto.

El modelo 2 en su pregunta es AR (1) sin una constante, mientras que en el video el modelo es una caminata aleatoria (movimiento browniano): Este modelo tiene una tendencia estocástica . Es estocástico porque es solo en promedio. Cada realización de un movimiento browniano se desviará de debido al término aleatorio , que es fácil de ver diferenciando:

x_{t} = α + x_{t - 1} + e_{t}

$x_t=\alpha+x_{t-1}+e_t$

α t

$\alpha t$

α t

$\alpha t$

e_{t}

$e_t$

Δ x_{t} = x_{t} - x_{t - 1} = α + e_{t}

$\Delta x_t=x_t-x_{t-1}=\alpha+e_t$

x_{t} = x_{0} + \sum_{t = 1}^{t} Δ x_{t} = x_{0} + α t + \sum_{t = 1}^{t} e_{t}

$x_t=x_0+\sum_{t=1}^t\Delta x_t=x_0+\alpha t +\sum_{t=1}^t e_t$

Aksakal
fuente

+1. Pero para ser perfectamente claro y preciso, es posible que desee señalar que la desviación de se debe al término aleatorio , no solo .

α t

$\alpha t$

e_{1} + e_{2} + \dots + e_{t}

$e_1+e_2+\dots +e_t$

e_{t}

$e_t$

whuber

Como Aksakal mencionó en su respuesta, el video que Ken T enlazó describe las propiedades de las tendencias , no de los modelos directamente, presumiblemente como parte de la enseñanza sobre el tema relacionado de la tendencia y la estacionalidad de la diferencia en la econometría. Como en su pregunta, preguntó sobre modelos, aquí está en el contexto de modelos :

Un modelo o proceso es estocástico si tiene aleatoriedad. Por ejemplo, si se le dan las mismas entradas (variables independientes, pesos / parámetros, hiperparámetros, etc.), el modelo puede producir diferentes salidas. En los modelos deterministas, la salida está completamente especificada por las entradas al modelo (variables independientes, pesos / parámetros, hiperparámetros, etc.), de modo que dadas las mismas entradas al modelo, las salidas son idénticas. El origen del término "estocástico" proviene de procesos estocásticos . Como regla general, si un modelo tiene una variable aleatoria, es estocástico. Los modelos estocásticos pueden incluso ser simples variables aleatorias independientes.

Analicemos más terminología que lo ayudará a comprender la literatura sobre modelos estadísticos (determinista, estocástico o de otro tipo ...):

Los modelos estocásticos no necesitan ser dependientes del tiempo o incluso de los procesos de Markov (dependiendo de estados pasados, por ejemplo, es Markov de primer orden ya que depende del estado en ). El modelo lineal que planteó anteriormente es estocástico (tiene una variable aleatoria) pero no Markov (no depende de estados pasados). En el modelo lineal planteado en la pregunta, el término de error es una variable aleatoria que suponemos que no está correlacionada (algunas personas van más allá al afirmar que el error es iid), distribuida simétricamente sobre la media (algunas personas van más allá al afirmar que el error es normalmente distribuido) y media cero ( ), etc. Hacemos estos supuestos para hacer que el modelo lineal sea útil para estimar $AR(1)$ $t-1$ $\mu_{\epsilon_t}=0$ las variables dependientes minimizando alguna norma de ese término de error. Estos supuestos nos permiten derivar propiedades útiles de los estimadores y demostrar que ciertos estimadores son los mejores bajo esos supuestos; por ejemplo, que el estimador OLS es AZUL .

Un ejemplo más simple de un modelo estocástico es lanzar una moneda justa (cara o cruz), que puede modelarse estocásticamente como una variable aleatoria binaria distribuida uniformemente iid, o un proceso de Bernoulli . También puede considerar el lanzamiento de la moneda como un sistema físico y llegar a un modelo determinista (en un entorno idealizado) si tiene en cuenta la forma de la moneda, el ángulo y la fuerza de impacto, la distancia a la superficie, etc. El último modelo (físico) de la moneda no tiene variables aleatorias (por ejemplo, no considera el error de medición de ninguna de las entradas al modelo), entonces es determinista.

En la enseñanza de la estadística, existe un punto común de confusión entre la estocasticidad y la heterocedasticidad . Por ejemplo, Ken T ha confundido la estocasticidad con la heterocedasticidad (o la variabilidad en la varianza). Una variable aleatoria (estocástica), como la variable de salida de un proceso o en un modelo lineal , es heterocedástica si su varianza cambia sobre alguna entrada, como el tiempo ( ) en En este caso, los diferentes grupos dentro de la población tienen diferentes variaciones. En el video que Ken T enlazó (por Ben Lambert), si lo pausa a las 4:00 (4 minutos), puede ver que $X_t$ $AR(1)$ $\epsilon_t$ $y_t = ax_t+\epsilon_t$ $t$ $Var[X_t]$ en el modelo en el lado derecho cambia con (heteroscedastic) mientras que en el modelo lineal es constante (homoscedastic). $t$ $Var[X_t]$

Además, a veces hay confusión entre los procesos estocásticos estacionarios y los procesos estocásticos no estacionarios. La estacionariedad implica que estadísticas como la media o la varianza no cambian con el tiempo en el modelo. Ambos todavía se consideran modelos / procesos estocásticos siempre que haya aleatoriedad involucrada. Como su compañero Maroon, Matthew Gunn, menciona en su respuesta, la descomposición de Wold establece que cualquier proceso estocástico estacionario puede escribirse como la suma de un proceso determinista y un proceso estocástico.

hago
fuente

¡Gran respuesta! Una pregunta: ¿por qué escribe "... si su varianza cambia sobre algún parámetro ...", ¿no deberían ser cambios sobre alguna variable (o función de una variable)?

Alexis

@Alexis Me refería al tiempo como un parámetro del modelo. Tienes razón, ese lenguaje es impreciso. Fijo. Gracias. :-)

ido

¿Cómo cambia la varianza de AR (1)?

Aksakal

@Aksakal no cambia con el tiempo y es , pero para if ... ( refiere al modelo descrito como tal por Ken T.)

V a r [ε_{t}]

$Var[\varepsilon_t]$

σ^{2}

$\sigma^2$

V a r [X_{t}] = t σ^{2}

$Var[X_t] = t\sigma^2$

X_{t} = α + X_{t - 1} + ε_{t}

$X_t = \alpha + X_{t-1} + \varepsilon_t$

ε_{t} \sim N (0, σ^{2})

$\varepsilon_t \sim N(0, \sigma^2)$

A R (1)

$AR(1)$

ido

Solo muestra el trabajo en caso de que sea lo que estabas preguntando, Aksakal: y es constante porque es iid, o al menos no está correlacionado. Además, no hace falta decirlo, pero dado que es iid .

V a r [X_{t}] = V a r [X_{t - 1}] + V a r [ε_{t}] = \sum_{i = 1}^{t} V a r [ε_{i}] = t σ^{2}

$Var[X_t] = Var[X_{t-1}] + Var[\varepsilon_t] = \sum_{i=1}^{t} Var[\varepsilon_i] = t\sigma^2$

V a r [ε_{i}] = σ^{2}

$Var[\varepsilon_i] = \sigma^2$

ε_{t}

$\varepsilon_t$

ε_{t}

$\varepsilon_t$

C o v [X_{t}, X_{t - 1}] = 0

$Cov[X_t, X_{t-1}] = 0$

ido

Algunas definiciones informales

Una serie temporal determinista puede escribirse como una función solo del tiempo. No hay aleatoriedad. Algunos ejemplos:
- $y(t) = 2t$
- $y(t) = e^t$
Un proceso estocástico $\{Y_t\}$ es una serie de variables aleatorias. Recuerde que una variable aleatoria es una función desde un espacio muestral hasta un resultado. Un proceso estocástico es una función del tiempo y un resultado del espacio muestral . Ejemplos: $\Omega$ $Y(t,\omega)$ $t$ $\omega$ $\Omega$
- $y_t = \epsilon_t$ donde (es decir, sigue la distribución normal estándar) $\epsilon_t \sim \mathcal{N}(0, 1)$
- $y_t = .7 y_{t-1} + \epsilon_t$
También puede pensar en un proceso estocástico como una ruta determinista para cada resultado en el espacio muestral . Dibuja aleatoriamente un y obtienes un camino . $\omega$ $\Omega$ $\omega \in \Omega$ $Y_t(\omega)$

Algunos comentarios...

... la razón de que AR (1) se llame como modelo estocástico es porque la varianza aumenta con el tiempo.

¡Esa no es la razón! La razón por la cual un AR (1) define un proceso estocástico es porque el proceso es aleatorio. Son posibles diferentes valores en un momento , por lo tanto, el proceso es estocástico. $t$

Tampoco creo que el modelo lineal simple sea totalmente determinista, ya que tenemos un término asociado con el modelo. $\epsilon_t$

La que ha escrito allí no es determinista. Si usted tuvo un tiempo de procesar serie donde es un proceso de ruido blanco , a continuación, la serie de tiempo podría no ser determinista. ¡Es estocástico porque hay aleatoriedad! $x_t$ $x_t = \alpha t + \epsilon_t$ $\{\epsilon_t\}$ $\{x_t\}$

La serie de tiempo sería determinista. Puede descomponer en dos componentes: un componente determinista y un componente estocástico . $y_t = \alpha t$ $\{x_t\}$ $\alpha t$ $\epsilon_t$

Esto lleva al Teorema de Wold de que cualquier proceso estacionario de covarianza puede descomponerse de manera única en un componente determinista y un componente estocástico.

Matthew Gunn
fuente