¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la...
Me pregunto cómo abordar adecuadamente el entrenamiento y la prueba de un modelo LASSO usando glmnet en R. Específicamente, me pregunto cómo hacerlo si la falta de un conjunto de datos de prueba externo requiere el uso de validación cruzada (u otro enfoque similar) para probar mi modelo...
Obtuve tres modelos reducidos de un modelo completo original usando selección hacia adelante eliminación hacia atrás Técnica de penalización L1 (LASSO) Para los modelos obtenidos usando la selección hacia adelante / eliminación hacia atrás, obtuve la estimación validada cruzada del error de...
Tengo entendido que la estimación de validación cruzada k-fold del error de prueba generalmente subestima el error de prueba real. Estoy confundido por qué este es el caso. ¡Veo por qué el error de entrenamiento es generalmente más bajo que el error de prueba, porque estás entrenando el modelo con...
He estado repensando una respuesta que le di a una pregunta hace un par de semanas La validación cruzada de retención produce un único conjunto de pruebas que se puede usar repetidamente para la demostración. Todos parecemos estar de acuerdo en que esto es en muchos aspectos una característica...
Suponga que tengo un tamaño de muestra pequeño, por ejemplo, N = 100 y dos clases. ¿Cómo debo elegir la capacitación, la validación cruzada y los tamaños de los conjuntos de prueba para el aprendizaje automático? Yo elegiría intuitivamente Tamaño del set de entrenamiento como 50 Conjunto de...
Estoy tratando de averiguar si mi comprensión de la validación cruzada anidada es correcta, por lo tanto, escribí este ejemplo de juguete para ver si tengo razón: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import...
Tengo una regresión forestal aleatoria construida usando skl y noto que produzco diferentes resultados basados en establecer la semilla aleatoria en diferentes valores. Si uso LOOCV para establecer qué semilla funciona mejor, ¿es este un método válido?
A menudo veo personas hablando de validación cruzada 5x2 como un caso especial de validación cruzada anidada . Supongo que el primer número (aquí: 5) se refiere al número de pliegues en el bucle interno y el segundo número (aquí: 2) se refiere al número de pliegues en el bucle externo. Entonces,...
A medida que leo en el sitio, la mayoría de las respuestas sugieren que la validación cruzada debe hacerse en algoritmos de aprendizaje automático. Sin embargo, mientras leía el libro "Comprensión del aprendizaje automático", vi que hay un ejercicio que a veces es mejor no usar la validación...
Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB se...
Tengo algunos datos que existen en un gráfico . Los vértices pertenecen a una de las dos clases , y estoy interesado en entrenar un SVM para distinguir entre las dos clases. Un núcleo apropiado para esto es el núcleo de difusión , donde es el laplaciano de y es un parámetro de ajuste.G = ( V,...
Recientemente comencé a usar la validación cruzada de muestreo de importancia suavizada Pareto (PSIS-LOO), descrita en estos documentos: Vehtari, A. y Gelman, A. (2015). Pareto suavizó el muestreo de importancia. preimpresión arXiv ( enlace ). Vehtari, A., Gelman, A. y Gabry, J. (2016)....
Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5...
Mi pregunta: ¿debería hacer CV incluso para un conjunto de datos relativamente grande? Tengo un conjunto de datos relativamente grande y aplicaré un algoritmo de aprendizaje automático al conjunto de datos. Como mi PC no es rápida, el CV (y la búsqueda en la cuadrícula) a veces lleva demasiado...
Estoy desarrollando sistemas comerciales automatizados para el mercado de valores. El gran desafío ha sido el sobreajuste. ¿Puede recomendarme algunos recursos que describan métodos para medir y evitar el sobreajuste? Comencé con conjuntos de entrenamiento / validación, pero el conjunto de...
Estoy usando 2 tipos de regresión logística: uno es el tipo simple, para la clasificación binaria, y el otro es la regresión logística ordinal. Para calcular la precisión del primero, utilicé la validación cruzada, donde calculé el AUC para cada pliegue y luego calculé el AUC medio. ¿Cómo puedo...
Esta puede ser una pregunta tonta, pero cuando se genera un modelo con cuidado y se usa algo como LOOCVo (aún más importante) LGOCV, ¿cuál es el beneficio de dividir los datos en trenes y conjuntos de pruebas si esto es esencialmente el paso de validación cruzada? lo hace de todos modos? Leí...
Mi libro de texto sobre validación cruzada es Los elementos del aprendizaje estadístico de Hastie et al. (2da ed.). En las secciones 7.10.1 y 7.12, hablan sobre la diferencia entre el error de prueba condicional y la prueba esperada error Aquí es el conjunto de datos de entrenamiento, es la función...
Estoy implementando validación cruzada y calculando métricas de error como RMSE, R2R2R^2 , MAE, MSE, etc. ¿Pueden RMSE y MAE tener el mismo