¿Alguien puede explicar que tengo 5 años sobre este problema del ESL Book de Hastie?

Estoy trabajando en el libro de ESL de Hastie, y estoy teniendo un momento difícil con la pregunta 2.3. La pregunta es la siguiente:

Estamos considerando una estimación vecina más cercana en el origen, y la ecuación indica la distancia media desde el origen hasta el punto de datos más cercano. No tengo idea de por dónde empezar en términos de tratar de derivar esto.

Sé que la mayoría de los puntos de datos están más cerca del límite del espacio muestral que de cualquier otro punto de datos (maldición de dimensionalidad), pero tengo problemas para traducir esto al sentido de Álgebra Lineal / Probabilidad.

¡Gracias!

machine-learning computational-statistics Gary
fuente

¿Qué significa "ELI5" en el título? Si desea derivar esa ecuación, deberá comenzar con un modelo de probabilidad para los puntos en la pelota: ¿cuál es ese modelo? (No requiera que sus lectores se refieran a un libro u otro sitio para comprender su pregunta).

whuber

@whuber Estoy de acuerdo: las siglas son un terrible esquema de hashing.

Sycorax dice Reinstate Monica

Tienes cinco años Todo el crédito para usted por querer entender ESL, pero tendrá que esperar hasta los seis años. Es un libro para niños y niñas grandes.

Nick Cox

Un niño de cinco años podría comenzar observando el caso unidimensional (p = 1). Y una vez que esté en la mano, tómalo desde allí.

Mark L. Stone

Si vamos a explicar ELI5, ¿qué pasa con ESL?

mdewey

Respuestas:

$r$ $V_0[p]$ $p$ $r$

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

$P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

$0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

$R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

Por definición de la mediana, tenemos que podemos reescribe como que es equivalente al resultado deseado.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

EDITAR: Intento de respuesta al estilo " ELI5 ", en tres partes.

Para el caso 1D con un solo punto, la distancia se distribuye uniformemente en , por lo que la mediana será . $[0,1]$ $\frac{1}{2}$
En 1D, la distribución para el mínimo más de puntos es el primer caso a la potencia -ésima. $n$ $n$
En dimensiones, la distancia no está distribuida uniformemente, pero . $p$ $r$ $r^p$

GeoMatt22
fuente

Ja, ja, di el comentario de que un niño de 5 años podría comenzar mirando el caso p = 1. Pensé en agregar un comentario de que un niño de 4 años podría no solo comenzar con el caso p = 1, sino también n = 1. Pero pensé que dejaría que el niño de 5 años descubriera eso.

Mark L. Stone el

Tenga en cuenta que cuando respondí la pregunta, fue después de que @fcop lo aclarara para leer: "Considere N puntos de datos distribuidos uniformemente en una bola de unidad p-dimensional centrada en el origen. Muestre que la distancia media desde el origen al el punto de datos más cercano viene dado por ... ". Entonces, una bola unitaria con respecto a la norma en espacio dimensional. Después de esto, la pregunta volvió al original, que difiere y no es tan clara. (Ver cadena de comentarios bajo la pregunta original.)

L_{2}

$L_2$

p

$p$

GeoMatt22