¿Cuál es la maldición de la dimensionalidad?

21

Específicamente, estoy buscando referencias (documentos, libros) que muestren y expliquen rigurosamente la maldición de la dimensionalidad. Esta pregunta surgió después de que comencé a leer este libro blanco de Lafferty y Wasserman. En el tercer párrafo mencionan una ecuación "bien conocida" que implica que la mejor tasa de convergencia es $n^{-4/(4-d)}$ ; si alguien puede exponer sobre eso (y explicarlo), eso sería muy útil.

Además, ¿alguien puede señalarme una referencia que derive la ecuación "bien conocida"?

theory khoda
fuente

77

No puedo exponer, pero creo que he escuchado lo que suenan como tres versiones diferentes de la maldición: 1) las dimensiones más altas significan una cantidad de trabajo que aumenta exponencialmente, y 2) en las dimensiones más altas obtendrá cada vez menos ejemplos en cualquier parte de su espacio muestral, y 3) en altas dimensiones, todo tiende a ser básicamente equidistante, lo que dificulta la distinción.

Wayne

55

Podrías interpretar esto geométricamente. Digamos que tienes una esfera en dimensiones D con radio r = 1. Luego puede hacer la pregunta sobre qué fracción del volumen de la esfera que se encuentra entre el radio r = 1 yr = 1-e. Como sabemos que el volumen de una esfera se escala como k (d) * r ^ (d), donde d es el número de dimensiones, podemos deducir que la fracción está dada por 1- (1-e) ^ d. Por lo tanto, para las esferas de alta dimensión, la mayor parte del volumen se concentra en una capa delgada cerca de la superficie. Vea más sobre esto en el libro de los Obispos "Reconocimiento de patrones y aprendizaje automático".

Dr. Mike

@Wayne seguro; más 5) más atenuaciones generalmente significan más ruido.

Dr. Mike, no sigo la lógica. Parece que estás diciendo que "dado que la mayor parte del volumen se concentra en una capa delgada cerca de la superficie de la esfera de alta dimensión, entonces estás maldito con la dimensionalidad". ¿Puede explicar más y tal vez explícitamente mostrarme cómo se vincula la analogía con las estadísticas?

khoda

9

Siguiendo con richiemorrisroe, aquí está la imagen relevante de los Elementos del aprendizaje estadístico , capítulo 2 (pp22-27):

ESL página 25

Como puede ver en el panel superior derecho, hay más vecinos a 1 unidad de distancia en 1 dimensión que vecinos a 1 unidad de distancia en 2 dimensiones. ¡3 dimensiones serían aún peores!

Zach
fuente

7

Esto no responde su pregunta directamente, pero David Donoho tiene un buen artículo sobre Análisis de datos de alta dimensión: Las maldiciones y bendiciones de la dimensionalidad (las diapositivas asociadas están aquí ), en las que menciona tres maldiciones:

$D$ $(1/\epsilon)^D$ $\epsilon$
$d$ $(1/\epsilon)^D$ $\epsilon$
$D$ $(1/\epsilon)^D$ $\epsilon$

raegtin
fuente

6

Sé que sigo refiriéndome a él, pero hay una gran explicación de esto en Elementos del aprendizaje estadístico , capítulo 2 (pp22-27). Básicamente señalan que a medida que aumentan las dimensiones, la cantidad de datos debe aumentar (exponencialmente) con ella o no habrá suficientes puntos en el espacio muestral más grande para que se pueda realizar un análisis útil.

Se refieren a un artículo de Bellman (1961) como su fuente, que parece ser su libro Adaptive Control Processes, disponible en Amazon aquí.

richiemorrisroe
fuente

+1. La explicación en ESL es excelente, y los diagramas asociados ayudan mucho.

Zach

2

ingrese la descripción de la imagen aquí

Quizás el impacto más notorio es capturado por el siguiente límite (que se ilustra (indirectamente) en la imagen de arriba):

lim_{re yo metro \to \infty} \frac{re yo s t_{metro una X} - re yo s t_{metro yo norte}}{re yo s t_{metro yo norte}}

$\lim_{dim\rightarrow\infty}\frac{dist_{max}-dist_{min}}{dist_{min}}$

$L_2$ $k$ $L_k$

Impacto de la dimensionalidad en los datos en imágenes

Raffael
fuente

¿Cuál es la maldición de la dimensionalidad?

Respuestas: