Si el núcleo Epanechnikov es teóricamente óptimo cuando se hace la Estimación de la densidad del núcleo, ¿por qué no se usa más comúnmente?

He leído (por ejemplo, aquí ) que el núcleo Epanechnikov es óptimo, al menos en un sentido teórico, al hacer la estimación de la densidad del núcleo. Si esto es cierto, ¿por qué el gaussiano aparece con tanta frecuencia como el núcleo predeterminado, o en muchos casos el único núcleo, en las bibliotecas de estimación de densidad?

nonparametric kernel-smoothing John Rauser
fuente

Aquí se combinan dos preguntas: ¿por qué no se usa más comúnmente? ¿Por qué Gaussian es a menudo el núcleo predeterminado / único? Puede parecer trivial, pero el nombre Epanechnikov puede parecer difícil de deletrear y pronunciar correctamente para las personas que no dominan ese idioma. (Ni siquiera estoy seguro de que E. fuera ruso; no he podido encontrar ningún detalle biográfico.) Además, si muestro (por ejemplo) un bipeso, comento sobre su forma de campana, ancho finito y comportamiento en los bordes, eso parece Más fácil de vender. Epanechnikov es el valor predeterminado en Stata kdensity.

Nick Cox

Añadiría que esta optimización teórica tiene poca influencia en la práctica, si es que tiene alguna.

Xi'an

Es un nombre familiar. Si tiene sentido usar un kernel que no tiene soporte finito, debería preferirlo. En lo que respecta a mi experiencia, no tiene sentido, por lo que la elección parece social, no técnica.

Nick Cox

@ NickCox, sí, E era un tipo ruso, no es una abreviatura :) Era una persona enigmática, esto es todo lo que puedes encontrar sobre él. También recuerdo un libro muy útil que alguien con su nombre escribió en calculadoras programables, sí, fue una gran cosa en ese momento

Aksakal

@amoeba Trabajó en Институт радиотехники и электроники Российской Академии Наук им. Котельникова, apuesto a que hizo una investigación clasificada, el nombre completo es Епанечников Виктор Александрович

Aksakal

Respuestas:

La razón por la cual el núcleo Epanechnikov no se usa universalmente por su óptima teórica puede ser que el núcleo Epanechnikov no sea teóricamente óptimo . Tsybakov critica explícitamente el argumento de que el núcleo Epanechnikov es "teóricamente óptimo" en las páginas 16-19 de Introducción a la estimación no paramétrica (sección 1.2.4).

Tratando de resumir, bajo algunos supuestos en el núcleo $K$ y una densidad fija $p$ uno tiene que el error cuadrado integrado medio es, de la forma

\begin{matrix} (1) & \frac{1}{n h} \int K^{2} (u) d u + \frac{h^{4}}{4} S_{K}^{2} \int (p^{″} (x))^{2} d x . \end{matrix}

$\frac{1}{nh} \int K^2 (u) du + \frac{h^4}{4}S_K^2 \int (p''(x))^2 dx \,. \tag{1}$

La principal crítica de Tsybakov parece estar minimizando los núcleos no negativos, ya que a menudo es posible obtener estimadores de mejor rendimiento, que incluso son no negativos, sin restringirlos a núcleos no negativos.

El primer paso del argumento para el núcleo Epanechnikov comienza minimizando $(1)$ sobre $h$ y todos los núcleos no negativos (en lugar de todos los núcleos de una clase más amplia) para obtener un ancho de banda "óptimo" para $K$

h^{M I S E} (K) = {(\frac{\int K^{2}}{n S_{K}^{2} \int (p^{″})^{2}})}^{1 / 5}

$h^{MISE}(K) = \left( \frac{\int K^2}{nS_K^2 \int (p'')^2} \right)^{1/5}$

y el núcleo "óptimo" (Epanechnikov)

K^{*} (u) = \frac{3}{4} (1 - u^{2})_{+}

$K^*(u) = \frac{3}{4}(1-u^2)_+$

cuyo error cuadrado medio integrado es:

h^{M I S E} (K^{*}) = {(\frac{15}{n \int (p^{″})^{2}})}^{1 / 5} .

$h^{MISE}(K^*) = \left( \frac{15}{n \int (p'')^2} \right)^{1/5} \,.$

Sin embargo, estas no son opciones viables, ya que dependen del conocimiento (a través de $p''$ ) de la densidad desconocida $p$ , por lo tanto, son cantidades "oráculo".

Una propuesta dada por Tsybakov implica que el MISE asintótico para el oráculo Epanechnikov es:

\begin{matrix} (2) & lim_{n \to \infty} n^{4 / 5} E_{p} \int (p_{n}^{E} (x) - p (x))^{2} d x = \frac{3^{4 / 5}}{5^{1 / 5} 4} {(\int (p^{″} (x))^{2} d x)}^{1 / 5} . \end{matrix}

$\lim_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^E (x) - p(x))^2 dx = \frac{3^{4/5}}{5^{1/5}4} \left( \int (p''(x))^2 dx \right)^{1/5} \,. \tag{2}$

Tsybakov dice que (2) a menudo se afirma que es el mejor MISE alcanzable, pero luego muestra que uno puede usar núcleos de orden 2 (para lo cual $S_K =0$ ) para construir estimadores de núcleo, para cada $\varepsilon >0$ , de modo que

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int ({\hat{p}}_{n} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (\hat{p}_n (x) - p(x))^2 dx \le \varepsilon \,.$

A pesar de que no es necesariamente no negativa, uno todavía tiene el mismo resultado para el estimador positivo parte, (que se garantiza que sea no negativo incluso si no es): $\hat{p}_n$ $p_n^+ := \max(0, \hat{p}_n)$ $K$

\underset{n \to \infty}{lim sup} n^{4 / 5} E_{p} \int (p_{n}^{+} (x) - p (x))^{2} d x \leq ε .

$\limsup_{n \to \infty} n^{4/5} \mathbb{E}_p \int (p_n^+ (x) - p(x))^2 dx \le \varepsilon \,.$

Por lo tanto, para $\varepsilon$ suficientemente pequeño, existen estimadores verdaderos que tienen un MISE asintótico más pequeño que el oráculo de Epanechnikov , incluso utilizando los mismos supuestos en la densidad desconocida $p$ .

En particular, uno tiene como resultado que el mínimo del MISE asintótico para una $p$ fija sobre todos los estimadores del núcleo (o partes positivas de los estimadores del núcleo) es $0$ . Por lo tanto, el oráculo de Epanechnikov ni siquiera está cerca de ser óptimo, incluso en comparación con los estimadores verdaderos.

La razón por la cual las personas presentaron el argumento a favor del oráculo de Epanechnikov en primer lugar es que a menudo se argumenta que el núcleo en sí mismo no debería ser negativo porque la densidad en sí misma no es negativa. Pero como señala Tsybakov, uno no tiene que suponer que el núcleo no es negativo para obtener estimadores de densidad no negativos, y al permitir otros núcleos se pueden estimadores de densidad no negativos que (1) no son oráculos y (2) funcionan arbitrariamente mejor que el oráculo de Epanechnikov para una $p$ fija . Tsybakov usa esta discrepancia para argumentar que no tiene sentido argumentar a favor de la optimización en términos de una $p$ fija , sino solo para las propiedades de optimización que son uniformes sobre una clasede densidades. También señala que el argumento todavía funciona cuando se usa MSE en lugar de MISE.

EDITAR: Ver también Corolario 1.1. en la p.25, donde se muestra que el núcleo Epanechnikov es inadmisible según otro criterio. A Tsybakov realmente parece no gustarle el núcleo Epanechnikov.

Chill2Macht
fuente

+1 para una lectura interesante, pero esto no responde por qué el núcleo gaussiano se usa con más frecuencia que el núcleo Epanechnikov: ambos no son negativos.

ameba dice Reinstate Monica

@amoeba Eso es cierto. Como mínimo, esto responde a la pregunta en el título, que se trata solo del núcleo Epanechnikov. (Es decir, aborda la premisa de la pregunta y muestra que es falsa).

Chill2Macht

(+1) Una cosa a tener en cuenta con el esquema de Tsybakov de tomar la parte positiva de una estimación de kernel posiblemente negativa, que es al menos mi recuerdo de su sugerencia, es que aunque el estimador de densidad resultante podría dar una mejor convergencia de MSE a la densidad real , la estimación de densidad en general no será una densidad válida (ya que está cortando la masa y ya no se integra a 1). Si en realidad solo te importa MSE, no importa, pero a veces esto será un problema importante.

Dougal

El núcleo gaussiano se usa, por ejemplo, en la estimación de densidad a través de derivados:

\frac{d^{i} f}{d x^{i}} (x) \approx \frac{1}{b a n d w i d t h} \sum_{j = 1}^{N} \frac{d^{i} k}{d x^{i}} (X_{j}, x)

$\frac{d^if}{dx^i}(x)\approx \frac{1}{bandwidth}\sum_{j=1}^N \frac{d^ik}{dx^i}(X_j,x)$

Esto se debe a que el núcleo Epanechnikov tiene 3 derivados antes de que sea idénticamente cero, a diferencia del gaussiano que tiene infinitos derivados (no nulos). Vea la sección 2.10 en su enlace para más ejemplos.

Alex R.
fuente

La primera derivada del núcleo Epanechnikov (tenga en cuenta el segundo n , por cierto) no es continua donde la función cruza los propios límites del núcleo; eso podría ser más un problema.

Glen_b -Reinstate Monica

@Glen_b: Probablemente tengas razón, aunque tener 0 derivados después de algunos

i

$i$ Sería una tontería también.

Alex R.

@AlexR. Si bien lo que usted dice es cierto, no entiendo cómo explica por qué el gaussiano es tan común en la estimación de densidad ordinaria (en lugar de estimar la derivada de la densidad). E incluso al estimar derivados, la sección 2.10 sugiere que el gaussiano nunca es el núcleo preferido.

John Rauser

@JohnRauser: tenga en cuenta que debe utilizar núcleos Epanechnikov de orden superior para obtener la mejor calidad. Por lo general, las personas usan un gaussiano porque es más fácil trabajar con él y tiene mejores propiedades.

Alex R.

@AlexR regatearía "[u] normalmente la gente usa un gaussiano"; ¿tiene datos sistemáticos sobre la frecuencia de uso o esto es solo una impresión basada en el trabajo que ve? Veo pesos biológicos a menudo, pero no reclamaría más que eso.

Nick Cox