Soy un estudiante de física que estudia el aprendizaje automático / ciencia de datos, así que no me refiero a que esta pregunta inicie ningún conflicto :) Sin embargo, una gran parte de cualquier programa de pregrado de física es hacer laboratorios / experimentos, lo que significa una gran cantidad...
Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f (lambda) = error...
Estoy usando el caretpaquete Rpara entrenar clasificadores binarios SVM. Para la reducción de funciones, estoy preprocesando con PCA usando la función incorporada preProc=c("pca")cuando llamo train(). Aquí están mis preguntas: ¿Cómo selecciona caret los componentes principales? ¿Hay un número...
Jugando con el conjunto de datos de vivienda de Boston y RandomForestRegressor(con parámetros predeterminados) en scikit-learn, noté algo extraño: la puntuación media de validación cruzada disminuyó a medida que aumentaba el número de pliegues más allá de 10. Mi estrategia de validación cruzada fue...
El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por...
Tengo entendido que la estimación de validación cruzada k-fold del error de prueba generalmente subestima el error de prueba real. Estoy confundido por qué este es el caso. ¡Veo por qué el error de entrenamiento es generalmente más bajo que el error de prueba, porque estás entrenando el modelo con...
Intento utilizar la regresión de RF para hacer predicciones sobre el rendimiento de una fábrica de papel. Tengo datos minuto a minuto para las entradas (velocidad y cantidad de pulpa de madera que ingresa, etc.), así como para el rendimiento de la máquina (papel producido, energía consumida por la...
¿Alguien conoce un buen libro / página web para comenzar a aprender las técnicas de validación
Cuando se realiza una validación cruzada de 5 veces (por ejemplo), es típico calcular una curva ROC separada para cada uno de los 5 pliegues y, a menudo, una curva ROC media con std. dev. se muestra como grosor de curva. Sin embargo, para la validación cruzada de LOO, donde solo hay un único punto...
Tengo un conjunto de datos con aproximadamente 70 variables que me gustaría reducir. Lo que estoy buscando hacer es usar CV para encontrar las variables más útiles de la siguiente manera. 1) Seleccione aleatoriamente digamos 20 variables. 2) Use stepwise/ LASSO/ lars/ etc para elegir las...
La mayoría de las situaciones, solo tratamos con una variable de resultado / respuesta como . Sin embargo, en algunos escenarios, especialmente en los datos clínicos, las variables de resultado pueden ser de alta dimensión / multivariadas. Tal como Y = β x + ϵ , donde Y contiene variables Y 1 , Y 2...
Dados los múltiples pliegues de validación cruzada de una regresión logística y las múltiples estimaciones resultantes de cada coeficiente de regresión, ¿cómo se debe medir si un predictor (o conjunto de predictores) es estable y significativo en función de los coeficientes de regresión? ? ¿Es esto...
Al dividir mis datos etiquetados en conjuntos de entrenamiento, validación y prueba, he escuchado de todo, desde 25/25/25 hasta 85/5/10. Estoy seguro de que esto depende de cómo va a utilizar su modelo y de cuán propenso es sobreajustar su algoritmo de aprendizaje. ¿Hay alguna forma de decidir o es...
Estoy tratando de ajustar un modelo de tiempo discreto en R, pero no estoy seguro de cómo hacerlo. He leído que puede organizar la variable dependiente en diferentes filas, una para cada observación de tiempo, y usar la glmfunción con un enlace logit o cloglog. En este sentido, tengo tres...
Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos...
Digamos que tengo dos métodos de aprendizaje para un problema de clasificación , y , y que calculo su rendimiento de generalización con algo como validación cruzada repetida o bootstrapping. De este proceso obtengo una distribución de puntajes y para cada método a través de estas repeticiones (por...
¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la...
A menudo veo personas hablando de validación cruzada 5x2 como un caso especial de validación cruzada anidada . Supongo que el primer número (aquí: 5) se refiere al número de pliegues en el bucle interno y el segundo número (aquí: 2) se refiere al número de pliegues en el bucle externo. Entonces,...
Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB se...
Tengo algunos datos que existen en un gráfico . Los vértices pertenecen a una de las dos clases , y estoy interesado en entrenar un SVM para distinguir entre las dos clases. Un núcleo apropiado para esto es el núcleo de difusión , donde es el laplaciano de y es un parámetro de ajuste.G = ( V,...