Dimensión VC de modelos de regresión

12

En la serie de conferencias Aprendiendo de los datos , el profesor menciona que la dimensión VC mide la complejidad del modelo sobre cuántos puntos puede romper un modelo dado. Por lo tanto, esto funciona perfectamente para los modelos de clasificación en los que podríamos decir de N puntos si el clasificador es capaz de romper k puntos de manera efectiva, la medida de la dimensión VC sería K. Pero no estaba claro para mí cómo se mide la dimensión VC para los modelos de regresión ?

karthikbharadwaj
fuente

Respuestas:

3

De Elementos del aprendizaje estadístico , p. 238:

Hasta ahora hemos discutido la dimensión VC solo de las funciones del indicador, pero esto puede extenderse a las funciones de valor real. La dimensión VC de una clase de funciones de valor real se define como la dimensión VC de la clase de indicador , donde toma valores en el rango de g.g(x,α)1(g(x,α)β>0)β

O, (un poco) de forma más intuitiva, para encontrar la dimensión VC de una clase de funciones con valores reales, se puede encontrar la dimensión VC de la clase de funciones indicadoras que se pueden formar mediante el umbral de esa clase de funciones con valores reales.

Sean Easter
fuente
Pero esto da la dimensión VC para los indicadores de umbral, y al pie de la letra no veo cómo obtener límites de PAC para los indicadores de umbral le dice mucho sobre el rendimiento de su función de regresión. Quizás pueda llegar a un argumento en el que realice una búsqueda binaria sobre el valor regresado (para dominios de salida delimitados).
VF1
@ VF1 Verdadero. Cómo interpretar la dimensión VC de una función de regresión podría ser una buena pregunta separada.
Sean Easter
Publicaría una pregunta por separado, pero creo que la respuesta es simplemente "no use VC dim para la regresión", ya que Rademacher le permitiría hacer lo mismo por las pérdidas limitadas arbitrarias.
VF1
@ VF1 ¡Leería una respuesta que lo dijera con interés! Todo lo que quiero decir es sugerir que la norma de CV es limitar las preguntas a una sola pregunta por publicación, y que el OP no tocó la interpretación o el propósito.
Sean Easter
0

Consulte la sección 5.2 de Aprendizaje estadístico (Vapnik) para obtener una derivación del truco del indicador de umbral utilizando medidas de Lebesgue-Stieltjes. AFAIK esta es la referencia única y definitiva. Ya debes saber dónde encontrar el libro (y otros de Vapnik, todos son superlativos).

memeplex
fuente
1
Sería útil si pudiera resumir el argumento en lugar de simplemente proporcionar una referencia.
mdewey