¿Hay alguna interpretación Bayesiana, ML o MDL conocida de validación cruzada? ¿Puedo interpretar la validación cruzada como la actualización correcta en una versión previa específicamente
Jugando con el conjunto de datos de vivienda de Boston y RandomForestRegressor(con parámetros predeterminados) en scikit-learn, noté algo extraño: la puntuación media de validación cruzada disminuyó a medida que aumentaba el número de pliegues más allá de 10. Mi estrategia de validación cruzada fue...
El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por...
Soy un estudiante de física que estudia el aprendizaje automático / ciencia de datos, así que no me refiero a que esta pregunta inicie ningún conflicto :) Sin embargo, una gran parte de cualquier programa de pregrado de física es hacer laboratorios / experimentos, lo que significa una gran cantidad...
Estoy entrenando un proceso gaussiano con un núcleo ARD con muchos parámetros maximizando la capacidad marginal de los datos, en lugar de la validación cruzada. Sospecho que es demasiado adecuado. ¿Cómo puedo probar esta sospecha en un contexto
He realizado la clasificación usando múltiples clasificadores para datos etiquetados de 2 clases, y utilicé la validación cruzada 5 veces. Para cada pliegue calculé tp, tn, fp y fn. Luego calculé la precisión, precisión, recuperación y puntaje F para cada prueba. Mi pregunta es, cuando quiero...
Estoy trabajando en un problema de clasificación que calcula una métrica de similitud entre dos imágenes de rayos X de entrada. Si las imágenes son de la misma persona (etiqueta de "derecho"), se calculará una métrica más alta; las imágenes de entrada de dos personas diferentes (etiqueta de...
Estoy usando el caretpaquete Rpara entrenar clasificadores binarios SVM. Para la reducción de funciones, estoy preprocesando con PCA usando la función incorporada preProc=c("pca")cuando llamo train(). Aquí están mis preguntas: ¿Cómo selecciona caret los componentes principales? ¿Hay un número...
Al elegir el parámetro de regularización lambda en Ridge o Lasso, el método recomendado es probar diferentes valores de lambda, medir el error en el conjunto de validación y finalmente elegir el valor de lambda que devuelve el error más bajo. No está claro para mí si la función f (lambda) = error...
Estoy tratando de hacer una selección de modelo en algunos predictores candidatos que usan LASSO con un resultado continuo. El objetivo es seleccionar el modelo óptimo con el mejor rendimiento de predicción, que generalmente se puede hacer mediante validación cruzada K-fold después de obtener una...
¿Cuál es la mejor manera de dividir los datos de series temporales en conjuntos de tren / prueba / validación, donde el conjunto de validación se usaría para el ajuste de hiperparámetros? Tenemos 3 años de datos de ventas diarias, y nuestro plan es usar 2015-2016 como datos de capacitación, luego...
¿Alguien conoce un buen libro / página web para comenzar a aprender las técnicas de validación
Cuando se realiza una validación cruzada de 5 veces (por ejemplo), es típico calcular una curva ROC separada para cada uno de los 5 pliegues y, a menudo, una curva ROC media con std. dev. se muestra como grosor de curva. Sin embargo, para la validación cruzada de LOO, donde solo hay un único punto...
La mayoría de las situaciones, solo tratamos con una variable de resultado / respuesta como . Sin embargo, en algunos escenarios, especialmente en los datos clínicos, las variables de resultado pueden ser de alta dimensión / multivariadas. Tal como Y = β x + ϵ , donde Y contiene variables Y 1 , Y 2...
Dados los múltiples pliegues de validación cruzada de una regresión logística y las múltiples estimaciones resultantes de cada coeficiente de regresión, ¿cómo se debe medir si un predictor (o conjunto de predictores) es estable y significativo en función de los coeficientes de regresión? ? ¿Es esto...
Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos...
Digamos que tengo dos métodos de aprendizaje para un problema de clasificación , y , y que calculo su rendimiento de generalización con algo como validación cruzada repetida o bootstrapping. De este proceso obtengo una distribución de puntajes y para cada método a través de estas repeticiones (por...
¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la...
Obtuve tres modelos reducidos de un modelo completo original usando selección hacia adelante eliminación hacia atrás Técnica de penalización L1 (LASSO) Para los modelos obtenidos usando la selección hacia adelante / eliminación hacia atrás, obtuve la estimación validada cruzada del error de...
Tengo entendido que la estimación de validación cruzada k-fold del error de prueba generalmente subestima el error de prueba real. Estoy confundido por qué este es el caso. ¡Veo por qué el error de entrenamiento es generalmente más bajo que el error de prueba, porque estás entrenando el modelo con...