Interpretación probabilística de las estrías de alisado de placas finas

TLDR: ¿Las estrías de regresión de placa delgada tienen una interpretación probabilística / bayesiana?

Dados pares de entrada-salida , ; Quiero estimar una función siguiente manera donde es una función del núcleo y es un vector de características de tamaño . Los coeficientes y se pueden encontrar resolviendo donde las filas de \ Phi están dadas por$(x_i,y_i)$$i=1,...,n$$f(\cdot)$

$$\begin{equation}f(x)\approx u(x)=\phi(x_i)^T\beta +\sum_{i=1}^n \alpha_i k(x,x_i),\end{equation}$$ $k(\cdot,\cdot)$$\phi(x_i)$$m<n$$\alpha_i$$\beta_i$ $$\begin{equation} {\displaystyle \min _{\alpha\in R^{n},\beta \in R^{m}}{\frac {1}{n}}\|Y-\Phi\beta -K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$$ $\Phi$$\phi(x_i)^T$ y, con algún abuso de notación, la entrada $i,j$ de la matriz del núcleo $K$ es ${\displaystyle k(x_{i},x_{j})}$ . Esto da $$\begin{equation} \alpha^*=\lambda^{-1}(I+\lambda^{-1}K)^{-1}(Y-\Phi\beta^*) \end{equation}$$ $$\begin{equation} \beta^*=\{\Phi^T(I+\lambda^{-1}K)^{-1}\Phi\}^{-1}\Phi^T(I+\lambda^{-1}K)^{-1}Y. \end{equation}$$ Suponiendo que $k(\cdot,\cdot)$ es una función de núcleo definida positiva, esta solución puede verse como el mejor predictor imparcial lineal para el siguiente modelo bayesiano: $$\begin{equation} y~\vert~(\beta,h(\cdot))~\sim~N(\phi(x)\beta+h(x),\sigma^2), \end{equation}$$ $$\begin{equation} h(\cdot)~\sim~GP(0,\tau k(\cdot,\cdot)), \end{equation}$$ $$\begin{equation} \beta\propto1, \end{equation}$$ donde $\sigma^2/\tau=\lambda$ y $GP$ denota un proceso gaussiano. Ver por ejemplo https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2665800/

Mi pregunta es la siguiente. Supongamos que dejo $k(x,x'):=|x-x'|^2 \ln(|x-x'|)$ y $\phi(x)^T=(1,x)$ , es decir, la ranura delgada de la placa regresión. Ahora, $k(\cdot,\cdot)$ no es una función semidefinida positiva y la interpretación anterior no funciona. ¿El modelo anterior y su solución aún tienen una interpretación probabilística en el caso de que $k(\cdot,\cdot)$ sea ​​semidefinido positivo?

Deje que el modelo de la pregunta se escriba como donde es un GP no observado con índice y es un término de ruido normal con varianza . Por lo general, se supone que el GP es centrado, estacionario y no determinista. Tenga en cuenta que el término puede considerarse como un GP (determinista) con kernel donde

$$\begin{equation} \tag{1} Y_i = \boldsymbol{\phi}(\mathbf{x}_i)^\top\boldsymbol{\beta} + h(\mathbf{x}_i) + \varepsilon_i \end{equation}$$ $h(\mathbf{x})$$\mathbf{x} \in \mathbb{R}^d$$\varepsilon_i$$\sigma^2$$\boldsymbol{\phi}(\mathbf{x})^\top \boldsymbol{\beta}$$\boldsymbol{\phi}(\mathbf{x})^\top \mathbf{B}\, \boldsymbol{\phi}(\mathbf{x})$$\mathbf{B}$es una matriz de covarianza de `` valor infinito ''. De hecho, al tomar con obtenemos las ecuaciones de kriging de la pregunta. Esto a menudo se denomina el difuso anterior para . Un posterior apropiado para resulta solo cuando la matriz tiene rango completo. Entonces el modelo escribe tan bien como donde es un GP . La misma interpretación de Bayes se puede usar con restricciones cuando ya no es un GP sino un$\mathbf{B} := \rho \, \mathbf{I}$$\rho \to \infty$$\boldsymbol{\beta}$$\boldsymbol{\beta}$$\boldsymbol{\Phi}$ $$\begin{equation} \tag{2} Y_i = \zeta(\mathbf{x}_i) + \varepsilon_i \end{equation}$$ $\zeta(\mathbf{x})$$\zeta(\mathbf{x})$Función aleatoria intrínseca (IRF). La derivación se puede encontrar en el libro de G. Wahba. Las presentaciones legibles del concepto de IRF se encuentran, por ejemplo, en el libro de N. Cressie y el artículo de Mardia et al. Los IRF son similares a los procesos integrados bien conocidos en el contexto de tiempo discreto (como ARIMA): un IRF se transforma en un GP clásico mediante un tipo de operación de diferenciación.

Aquí hay dos ejemplos de IRF para . En primer lugar, considere un proceso de Wiener con su condición inicial reemplazada por una condición inicial difusa : es normal con una varianza infinita. Una vez que se conoce un valor , se puede predecir el IRF como es el GP de Wiener. En segundo lugar, considere un proceso Wiener integrado dado por la ecuación donde es un proceso de Wiener. Para obtener un GP ahora necesitamos dos parámetros escalares: dos valores y para$d=1$$\zeta(x)$$\zeta(0) = 0$$\zeta(0)$$\zeta(x)$

$$\text{d}^2 \zeta(x) / \text{d}x^2 = \text{d} W(x)/\text{d}x$$ $W(x)$$\zeta(x)$$\zeta(x')$$x \neq x'$, o los valores y en alguna elegida . Podemos considerar que los dos parámetros adicionales son conjuntamente gaussianos con una matriz de covarianza infinita . En ambos ejemplos, tan pronto como esté disponible un conjunto finito adecuado de observaciones, el IRF casi se enfrenta como un GP. Además, utilizamos un operador diferencial: y respectivamente. El espacio nulo es un espacio lineal de funciones tal que . Contiene la función constante $\zeta(x)$$\text{d}\zeta(x) / \text{d}x$$x$$2 \times 2$$L := \text{d}/ \text{d}x$$L := \text{d}^2/ \text{d}x^2$$\mathcal{F}$$\phi(x)$$L \phi = 0$$\phi_1(x)=1$en el primer caso y las funciones y en el segundo caso. Tenga en cuenta que en el primer ejemplo es GP para cualquier fijo en el primer ejemplo y de manera similar es un GP en el segundo caso.$\phi_1(x)=1$$\phi_2(x) = x$$\zeta(x) - \zeta(x + \delta)$$\delta$$\zeta(x-\delta) - 2 \zeta(x) + \zeta(x + \delta)$

Para una dimensión general , considere un espacio lineal de funciones definidas en . Llamamos a un incremento relativo a una colección finita de ubicaciones y pesos reales tales que Considere como el espacio nulo de nuestros ejemplos. Para el primer ejemplo podemos tomar, por ejemplo, con y arbitraria y$d$$\mathcal{F}$$\mathbb{R}^d$$\mathcal{F}$$s$$\mathbf{x}_i \in \mathbb{R}^d$$s$$\nu_i$

$$\sum_{i=1}^s \, \nu_i \,\phi(\mathbf{x}_i) = 0 \text{ for all } \phi \in \mathcal{F}.$$ $\mathcal{F}$$s=2$$x_1$$x_2$$[1, \, -1]$ . Para el segundo ejemplo, podemos tomar sy espaciado igual . La definición de un IRF implica un espacio de funciones y una función que es condicionalmente positivo wrt , lo que significa que mantiene tan pronto como es un incremento wrt . De y$s = 3$$x_i$$\boldsymbol{\nu} = [1,\,-2,\,1]$$\mathcal{F}$$g(\mathbf{x}, \, \mathbf{x}')$$\mathcal{F}$ $$\sum_{i=1}^s \sum_{j=1}^s \nu_i \nu_j \, g(\mathbf{x}_i, \, \mathbf{x}'_j) \geq 0$$ $[\nu_i,\,\mathbf{x}_i]_{i=1}^s$$\mathcal{F}$$\mathcal{F}$$g(\mathbf{x},\,\mathbf{x}')$ podemos hacer un núcleo de covarianza, por lo tanto, un GP como en Mardia et al. Podemos comenzar desde un operador diferencial lineal y usar el espacio nulo como ; la IRF tendrá conexión con la ecuación un ruido gaussiano.$L$$\mathcal{F}$$L \zeta =$

El cálculo de la predicción del IRF es casi el mismo que en la pregunta, con reemplazado por , pero con ahora formando una base de . La restricción adicional debe agregarse en el problema de optimización, lo que garantizará que . Todavía podemos agregar más funciones básicas que no están en si es necesario; esto tendrá el efecto de agregar un GP determinista, digamos al IRF $k(\mathbf{x},\,\mathbf{x}')$$g(\mathbf{x},\,\mathbf{x}')$$\phi_i(\mathbf{x})$$\mathcal{F}$$\boldsymbol{\Phi}^\top \boldsymbol{\alpha} = \mathbf{0}$$\boldsymbol{\alpha}^\top \mathbf{K} \boldsymbol{\alpha} \geq 0$$\mathcal{F}$$\boldsymbol{\psi}(\mathbf{x})^\top\boldsymbol{\gamma}$$\zeta(\mathbf{x})$ en (2).

La spline de placa delgada depende de un número entero tal que , el espacio contiene polinomios de bajo grado, con una dimensión depende de y . Se puede demostrar que si es la siguiente función para luego define un wrt condicionalmente positivo . La construcción se refiere a un operador diferencial$m$$m> 2d$$\mathcal{F}$$p(m)$$m$$d$$E(r)$$r \geq 0$

$$E(r) := \begin{cases} (-1)^{m + 1 + d /2} \, r^{2m-d} \log r & d \text{ even},\\ r^{2m-d} & d \text{ odd,} \end{cases}$$ $g(\mathbf{x},\,\mathbf{x}') := E(\|\mathbf{x} - \mathbf{x}'\|)$$\mathcal{F}$$L$. Resulta que para y de la delgada spline placa hay nada que el spline cúbico natural, usual, que se refiere al ejemplo Wiener integrado anteriormente, con . Entonces (2) no es más que el modelo de spline de suavizado habitual. Cuando y el espacio nulo tiene dimensión y se genera por las funciones , y .$d=1$$m=2$$g(x,\,x') = |x - x'|^3$$d=2$$m=2$$p(m)=3$$1$$x_1$$x_2$

Estadísticas de Cressie N para datos espaciales . Wiley 1993.

Mardia KV, Kent JT, Goodall CR y Little JA. Kriging y splines con información derivada. Biometrika (1996), 83,1, pp. 207-221.

Modelos Wahba G Spline para datos de observación . SIAM 1990.

Wang, Y Alisar Splines, Métodos y Aplicaciones . Chapman y Hall, 2011.