¿Cómo caracterizar el cambio brusco?

Esta pregunta puede ser demasiado básica. Para una tendencia temporal de un dato, me gustaría averiguar el punto donde ocurre un cambio "abrupto". Por ejemplo, en la primera figura que se muestra a continuación, me gustaría averiguar el punto de cambio utilizando algún método estadístico. Y me gustaría aplicar dicho método en algunos otros datos cuyo punto de cambio no es obvio (como la segunda figura). Entonces, ¿hay un método común para tal propósito?

Si las observaciones de sus datos de series temporales están correlacionadas con las observaciones inmediatamente anteriores, el documento de Chen y Liu (1993) puede interesarle. Describe un método para detectar cambios de nivel y cambios temporales en el marco de modelos de series temporales de promedio móvil autorregresivo.$^{[1]}$

[1]: Chen, C. y Liu, LM. (1993),
"Estimación conjunta de parámetros del modelo y efectos atípicos en series temporales",
Journal of the American Statistical Association , 88 : 421, 284-297

Este problema en las estadísticas se conoce como la detección de eventos temporales (univariante). La idea más simple es usar un promedio móvil y una desviación estándar. Cualquier lectura que esté "fuera de" 3 desviaciones estándar (regla general) se considera un "evento". Por supuesto, hay modelos más avanzados que usan HMM o Regresión. Aquí hay un resumen introductorio del campo .

Aquí hay una manera rápida y fácil de hacerlo. Cree un montón de funciones de salto como esta: para puntos de corte candidatos . Ahora use la regresión por pasos para seleccionar el mejor modelo con el como posibles predictores. En su primer ejemplo, suponiendo que seleccione dos predictores, obtendrá uno para con un coeficiente positivo igual al tamaño del salto hacia arriba, y uno para con un coeficiente negativo igual al tamaño de El salto hacia abajo. Debe decidir con qué precisión desea dividir los tiempos de salto del candidato, x 1 < x 2 < ⋯ < x m J i J a p r i l J d e c e m b e r x

Hay soluciones más elegantes y exigentes que implican regresión no lineal, donde utiliza un modelo con y y estima y como parámetros. Es un poco complicado de configurar.J 2 x 1 x $J_1$$J_2$$x_1$$x_2$

Hay un problema relacionado de dividir una serie o secuencia en hechizos con valores idealmente constantes. Consulte ¿Cómo puedo agrupar datos numéricos en "paréntesis" formando naturalmente? (por ejemplo, ingresos)

No es exactamente el mismo problema, ya que la pregunta no excluye hechizos con deriva lenta en ninguna o todas las direcciones, pero sin cambios abruptos.

Una respuesta más directa es decir que estamos buscando grandes saltos, por lo que el único problema real es definir el salto. La primera idea es entonces observar las primeras diferencias entre los valores vecinos. Ni siquiera está claro que necesite refinar eso eliminando primero el ruido, ya que si los saltos no se pueden distinguir de las diferencias de ruido, seguramente no pueden ser bruscos. Por otro lado, el interrogador evidentemente quiere un cambio abrupto que incluya un cambio escalonado y escalonado, por lo que parece necesario algún criterio, como la varianza o el rango dentro de ventanas de longitud fija.

El área de estadísticas que está buscando es el análisis de puntos de cambio. Hay un sitio web aquí que le dará una visión general de la zona y también tienen una página para el software.

Si es Rusuario, le recomendaría el changepointpaquete para cambios en la media y el strucchangepaquete para cambios en la regresión. Si quieres ser bayesiano, entonces el bcppaquete también es bueno.

En general, debe elegir un umbral que indique la intensidad de los cambios que está buscando. Por supuesto, hay opciones de umbral que las personas recomiendan en ciertas situaciones y usted puede usar niveles de confianza asintóticos o bootstrapping para obtener confianza también.

Este problema de inferencia tiene muchos nombres, incluidos puntos de cambio, puntos de cambio, puntos de ruptura, regresión de línea discontinua, regresión de barra discontinua, regresión bilineal, regresión lineal por partes, regresión lineal local, regresión segmentada y modelos de discontinuidad.

Aquí hay una descripción general de los paquetes de puntos de cambio con pros / contras y ejemplos trabajados. Si conoce el número de puntos de cambio a priori, consulte el mcppaquete. Primero, simulemos los datos:

df = data.frame(x = seq(1, 12, by = 0.1))
df$y = c(rnorm(21, 0, 5), rnorm(80, 180, 5), rnorm(10, 20, 5))

Para su primer problema, son tres segmentos de solo intercepción:

model = list(
  y ~ 1,  # Intercept
  ~ 1,  # etc...
  ~ 1
)
library(mcp)
fit = mcp(model, df, par_x = "x")

Podemos trazar el ajuste resultante:

plot(fit)

Aquí, los puntos de cambio están muy bien definidos (estrechos). Resumamos el ajuste para ver sus ubicaciones inferidas ( cp_1y cp_2):

summary(fit)

Family: gaussian(link = 'identity')
Iterations: 9000 from 3 chains.
Segments:
  1: y ~ 1
  2: y ~ 1 ~ 1
  3: y ~ 1 ~ 1

Population-level parameters:
    name   mean lower upper Rhat n.eff
    cp_1   3.05   3.0   3.1    1  6445
    cp_2  11.05  11.0  11.1    1  6401
   int_1   0.14  -1.9   2.1    1  5979
   int_2 179.86 178.8 180.9    1  6659
   int_3  22.76  19.8  25.5    1  5906
 sigma_1   4.68   4.1   5.3    1  5282

Puede hacer modelos mucho más complicados mcp, incluido el modelado de autorregresión de enésimo orden (útil para series de tiempo), etc. Descargo de responsabilidad: soy el desarrollador de mcp.