13

Estoy tratando de entender si la transformada discreta de Fourier ofrece la misma representación de una curva que una regresión utilizando la base de Fourier. Por ejemplo,

library(fda)
Y=daily$tempav[,1] ## my data
length(Y) ## =365

## create Fourier basis and estimate the coefficients
mybasis=create.fourier.basis(c(0,365),365)  
basisMat=eval.basis(1:365,mybasis)
regcoef=coef(lm(Y~basisMat-1))

## using Fourier transform
fftcoef=fft(Y)

## compare
head(fftcoef)
head(regcoef)

FFT da un número complejo, mientras que la regresión da un número real.

¿Transmiten la misma información? ¿Hay un mapa uno a uno entre los dos conjuntos de números?

(Agradecería que la respuesta se escriba desde la perspectiva del estadístico en lugar de la perspectiva del ingeniero. Muchos materiales en línea que puedo encontrar tienen jerga de ingeniería en todo el lugar, lo que los hace menos sabrosos para mí).

fourier-transform functional-data-analysis qoheleth
fuente

No estoy familiarizado con su fragmento de código, por lo que no puedo decir si el siguiente problema se aplica allí. Sin embargo, típicamente la base DFT se define en términos de frecuencias integrales ("número entero"), mientras que una "base de Fourier" general para la regresión podría usar relaciones de frecuencia arbitrarias (por ejemplo, que incluyen irracionales, al menos en aritmética continua). Esto también podría ser de interés.

GeoMatt22

Creo que todos se beneficiarían si escribes tu pregunta en términos matemáticos (a diferencia de los fragmentos de código). ¿Cuál es el problema de regresión que resuelves? ¿Cuáles son las funciones básicas de Fourier que utiliza? Se sorprenderá de cómo mejorarán las respuestas a su pregunta.

Yair Daon

15

Son lo mismo Así es cómo...

Haciendo una regresión

Digamos que se ajusta al modelo , donde y . Sin embargo, esto no es adecuado para la regresión lineal, por lo que utiliza trigonometría ( Ejecutando regresión lineal en todas las frecuencias de Fourier ) y se ajusta al modelo equivalente:

y_{t} = \sum_{j = 1}^{n} A_{j} \cos (2 π t [j / N] + ϕ_{j})

$y_t = \sum_{j=1}^n A_j \cos(2 \pi t [j/N] + \phi_j)$

t = 1, \dots, N

$t=1,\ldots,N$

n = floor (N / 2)

$n = \text{floor}(N/2)$

\cos (a + b) = \cos (a) \cos (b) - \sin (a) \sin (b)

$\cos(a + b) = \cos(a)\cos(b) - \sin(a)\sin(b)$

y_{t} = \sum_{j = 1}^{n} β_{1, j} \cos (2 π t [j / N]) + β_{2, j} \sin (2 π t [j / N]) .

$y_t = \sum_{j=1}^n \beta_{1,j} \cos(2 \pi t [j/N]) + \beta_{2,j}\sin(2 \pi t [j/N]).$

le da un montón (

) de

,

. Para cualquier

, si desea calcular el par a mano, puede usar:

{j / N : j = 1, \dots, n}

$\{j/N : j = 1, \ldots, n \}$

2 n

$2n$

{{\hat{β}}_{i, j}}

$\{\hat{\beta}_{i,j}\}$

i = 1, 2

$i=1,2$

j

$j$

y

{\hat{β}}_{1, j} = \frac{\sum_{t = 1}^{N} y_{t} \cos (2 π t [j / N])}{\sum_{t = 1}^{N} \cos^{2} (2 π t [j / N])}

$\hat{\beta}_{1,j} = \frac{\sum_{t=1}^N y_t \cos(2 \pi t [j/N])}{\sum_{t=1}^N \cos^2(2 \pi t [j/N])}$

Estas son fórmulas de regresión estándar.

{\hat{β}}_{2, j} = \frac{\sum_{t = 1}^{N} y_{t} \sin (2 π t [j / N])}{\sum_{t = 1}^{N} \sin^{2} (2 π t [j / N])} .

$\hat{\beta}_{2,j} = \frac{\sum_{t=1}^N y_t \sin(2 \pi t [j/N])}{\sum_{t=1}^N \sin^2(2 \pi t [j/N])}.$

Hacer una transformada discreta de Fourier

Cuando ejecuta una transformación de Fourier, calcula, para : $j=1, \ldots, n$

\begin{aligned} d (j / N) & = N^{- 1 / 2} \sum_{t = 1}^{N} y_{t} \exp [- 2 π i t [j / N]] \\ = N^{- 1 / 2} (\sum_{t = 1}^{N} y_{t} \cos (2 π t [j / N]) - i \sum_{t = 1}^{N} y_{t} \sin (2 π t [j / N])) . \end{aligned}

$\begin{align*} d(j/N) &= N^{-1/2}\sum_{t=1}^N y_t \exp[- 2 \pi i t [j/N]] \\ &= N^{-1/2}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N]) - i \sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right) . \end{align*}$

Este es un número complejo (observe la ). Para ver por qué se mantiene esa igualdad, tenga en cuenta que $i$ , y . $e^{ix} = \cos(x) + i\sin(x)$ $\cos(-x) = \cos(x)$ $\sin(-x) = -\sin(x)$

Para cada , tomar el cuadrado del conjugado complejo te da el " periodograma :" $j$

| d (j / N) |^{2} = N^{- 1} {(\sum_{t = 1}^{N} y_{t} \cos (2 π t [j / N]))}^{2} + N^{- 1} {(\sum_{t = 1}^{N} y_{t} \sin (2 π t [j / N]))}^{2} .

$|d(j/N)|^2 = N^{-1}\left(\sum_{t=1}^N y_t\cos(2 \pi t [j/N])\right)^2 + N^{-1}\left(\sum_{t=1}^N y_t\sin(2 \pi t [j/N])\right)^2.$ En R, calcular este vector sería I <- abs(fft(Y))^2/length(Y), lo cual es un poco extraño, porque tienes que escalarlo.

También puede definir el " periodograma escalado "

P (j / N) = {(\frac{2}{N} \sum_{t = 1}^{N} y_{t} \cos (2 π t [j / N]))}^{2} + {(\frac{2}{N} \sum_{t = 1}^{N} y_{t} \sin (2 π t [j / N]))}^{2} .

$P(j/N) = \left(\frac{2}{N}\sum_{t=1}^N y_t \cos(2 \pi t [j/N]) \right)^2 + \left(\frac{2}{N}\sum_{t=1}^N y_t \sin(2 \pi t [j/N]) \right)^2.$

P (j / N) = \frac{4}{N} | d (j / N) |^{2}

$P(j/N) = \frac{4}{N}|d(j/N)|^2$ P <- (4/length(Y))*I[(1:floor(length(Y)/2))]

La conexión entre los dos

Resulta que la conexión entre la regresión y los dos periodogramas es:

P (j / N) = {\hat{β}}_{1, j}^{2} + {\hat{β}}_{2, j}^{2} .

$P(j/N) = \hat{\beta}_{1,j}^2 + \hat{\beta}_{2,j}^2.$

j

$j$

\sum_{t = 1}^{N} \cos^{2} (2 π t [j / N]) = \sum_{t = 1}^{N} \sin^{2} (2 π t [j / N]) = N / 2

$\sum_{t=1}^N \cos^2(2 \pi t [j/N]) = \sum_{t=1}^N \sin^2(2 \pi t [j/N]) = N/2$

Fuente: https://www.amazon.com/Time-Analysis-Its-Applications-Statistics/dp/144197864X

Taylor
fuente

1

+1 para la respuesta y la fuente. También sería bueno si puedes demostrar el resultado con los Robjetos que publiqué.

qoheleth

@ qoheleth te lo dejo a ti. Solo esté cansado de cómo fft()no escala la forma en que escribí (ya mencioné esto), que no he probado nada con las intercepciones, y eso create.fourier.basis()escala las funciones de la base de manera extraña.

Taylor

6

Están fuertemente relacionados. Su ejemplo no es reproducible porque no incluyó sus datos, por lo que haré uno nuevo. En primer lugar, creemos una función periódica:

T <- 10
omega <- 2*pi/T
N <- 21
x <- seq(0, T, len = N)
sum_sines_cosines <- function(x, omega){
    sin(omega*x)+2*cos(2*omega*x)+3*sin(4*omega*x)+4*cos(4*omega*x)
}
Yper <- sum_sines_cosines(x, omega)
Yper[N]-Yper[1] # numerically 0

x2 <- seq(0, T, len = 1000)
Yper2 <- sum_sines_cosines(x2, omega)
plot(x2, Yper2, col = "red", type = "l", xlab = "x", ylab = "Y")
points(x, Yper)

$N = 2k+1$ $N-2$ $N-3=2(k-1)$ $k\omega$ $N=3$ $k=1$ . De todos modos, si quieres comprobarlo, basta con cambiar N-2a Nen el siguiente fragmento de código y vistazo a las últimas dos columnas: verá que en realidad son inútiles (y que crea problemas para el ajuste, debido a que la matriz de diseño ahora es singular )

# Fourier Regression with fda
library(fda)
mybasis <- create.fourier.basis(c(0,T),N-2)
basisMat <- eval.basis(x, mybasis)
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef)

Tenga en cuenta que las frecuencias son exactamente las correctas, pero las amplitudes de los componentes distintos de cero no lo son (1,2,3,4). La razón es que las fdafunciones básicas de Fourier se escalan de una manera extraña: su valor máximo no es 1, como sería para la base de Fourier habitual ${1,\sin{ \omega x},\cos{ \omega x},\dots}$ . No es $\frac{1}{\sqrt \pi}$ tampoco, como habría sido para la base de Fourier ortonormal, ${\frac{1}{\sqrt {2\pi}},\frac{\sin{ \omega x}}{\sqrt \pi},\frac{\cos{ \omega x}}{\sqrt \pi},\dots}$ .

# FDA basis has a weird scaling
max(abs(basisMat))
plot(mybasis)

Usted ve claramente que:

el valor máximo es menor que $\frac{1}{\sqrt \pi}$
la base de Fourier (truncada a la primera $N-2$ términos) contiene una función constante (la línea negra), senos de frecuencia creciente (las curvas que son iguales a 0 en los límites del dominio) y cosenos de frecuencia creciente (las curvas que son iguales a 1 en los límites del dominio), ya que debiera ser

Simplemente escalar la base de Fourier dada por fda, para que se obtenga la base de Fourier habitual, conduce a coeficientes de regresión que tienen los valores esperados:

basisMat <- basisMat/max(abs(basisMat))
FDA_regression <- lm(Yper ~ basisMat-1)
FDA_coef <-coef(FDA_regression)
barplot(FDA_coef, names.arg = colnames(basisMat), main = "rescaled FDA coefficients")

Probemos fftahora: tenga en cuenta que, dado que Yperes una secuencia periódica, el último punto realmente no agrega ninguna información (el DFT de una secuencia siempre es periódico). Por lo tanto, podemos descartar el último punto al calcular la FFT. Además, el FFT es solo un algoritmo numérico rápido para calcular el DFT, y el DFT de una secuencia de números reales o complejos es complejo . Por lo tanto, realmente queremos los módulos de los coeficientes FFT:

# FFT
fft_coef <- Mod(fft(Yper[1:(N-1)]))*2/(N-1)

Multiplicamos por $\frac{2}{N-1}$ para tener la misma escala que con la base de Fourier ${1,\sin{ \omega x},\cos{ \omega x},\dots}$ . Si no escalamos, aún recuperaríamos las frecuencias correctas, pero todas las amplitudes serían escaladas por el mismo factor con respecto a lo que encontramos antes. Tracemos ahora los coeficientes fft:

fft_coef <- fft_coef[1:((N-1)/2)]
terms <- paste0("exp",seq(0,(N-1)/2-1))
barplot(fft_coef, names.arg = terms, main = "FFT coefficients")

Ok: las frecuencias son correctas, pero tenga en cuenta que ahora las funciones básicas ya no son senos y cosenos (son exponenciales complejos $\exp{ni\omega x}$ , donde con $i$ Denote la unidad imaginaria). Tenga en cuenta también que en lugar de un conjunto de frecuencias distintas de cero (1,2,3,4) como antes, obtuvimos un conjunto (1,2,5). La razón es que un término $x_n\exp{ni\omega x}$ en este complejo coeficiente de expansión (por lo tanto $x_n$ es complejo) corresponde a dos términos reales $a_n sin(n\omega x)+b_n cos(n\omega x)$ en la expansión de la base trigonométrica, debido a la fórmula de Euler $\exp{ix}=\cos{x}+i\sin{x}$ . The modulus of the complex coefficient is equal to the sum in quadrature of the two real coefficients, i.e., $|x_n|=\sqrt{a_n^2+b_n^2}$ . As a matter of fact, $5=\sqrt{3^3+4^2}$ .

DeltaIV
fuente

1

thanks DeltaIV, the data daily comes with the fda package.

qoheleth

@qoheleth I didn't know. This evening I will modify my answer using your dataset, and I will clarify a couple points.

DeltaIV

Desde una perspectiva estadística: transformada de Fourier vs regresión con base de Fourier

Respuestas:

Haciendo una regresión

Hacer una transformada discreta de Fourier

La conexión entre los dos