¿Cuál es la dimensión VC de un árbol de decisión con k divisiones en dos dimensiones? Digamos que el modelo es CART y las únicas divisiones permitidas son paralelas a los ejes. Entonces, para una división, podemos ordenar 3 puntos en un triángulo y luego, para cualquier etiquetado de los puntos,...
He encontrado algunas formas básicas para medir la complejidad de las redes neuronales: Ingenuo e informal: cuente la cantidad de neuronas, neuronas ocultas, capas o capas ocultas Dimensión VC (Eduardo D. Sontag [1998] "Dimensión VC de redes neuronales" [ pdf ].) Un curso medido de complejidad...
En el aprendizaje automático básico, se nos enseñan las siguientes "reglas generales": a) el tamaño de sus datos debe ser al menos 10 veces el tamaño de la dimensión VC de su conjunto de hipótesis. b) una red neuronal con N conexiones tiene una dimensión VC de aproximadamente N. Entonces, cuando...
En la serie de conferencias Aprendiendo de los datos , el profesor menciona que la dimensión VC mide la complejidad del modelo sobre cuántos puntos puede romper un modelo dado. Por lo tanto, esto funciona perfectamente para los modelos de clasificación en los que podríamos decir de N puntos si el...
Wikipedia dice que: La dimensión VC es la cardinalidad del mayor conjunto de puntos que un algoritmo puede destruir. Por ejemplo, un clasificador lineal tiene una cardinalidad n + 1. Mi pregunta es ¿por qué nos importa? La mayoría de los conjuntos de datos en los que realiza una clasificación...
Si tengo alguna topología fija no recurrente (DAG) (conjunto fijo de nodos y bordes, pero el algoritmo de aprendizaje puede variar el peso en los bordes) de las neuronas sigmoideas con neuronas de entrada que solo pueden tomar cadenas en como entrada y conduce a una salida (que genera un valor real...
Estoy interesado en los resultados teóricos para la capacidad de generalización de las máquinas de vectores de soporte, por ejemplo, límites en la probabilidad de error de clasificación y en la dimensión Vapnik-Chervonenkis (VC) de estas máquinas. Sin embargo, al leer la literatura he tenido la...
¿Cuál es la dimensión VC del algoritmo vecino k más cercano si k es igual al número de puntos de entrenamiento utilizados? Contexto: esta pregunta se formuló en un curso que tomé y la respuesta dada fue 0. Sin embargo, no entiendo por qué este es el caso. Mi intuición es que la Dimensión VC...
El libro "Introducción al aprendizaje automático" de Ethem Alpaydın afirma que la dimensión VC de un rectángulo alineado a ejes es 4. Pero, ¿cómo puede un rectángulo romper un conjunto de cuatro puntos colineales con puntos alternativos positivos y negativos? ¿Alguien puede explicar y probar la...