En primer lugar, da probabilidad de resultados. Entonces, por ejemplo, sus predicciones para las elecciones estadounidenses son actualmente del 82% de Clinton frente al 18% de Trump. Ahora, incluso si Trump gana, ¿cómo sé que no fue solo el 18% del tiempo que debería haber ganado? El otro...
Estoy ajustando un HLM bayesiano en JAGS usando k-fold cross-validation (k = 5). Me gustaría saber si las estimaciones del parámetro son estables en todos los pliegues. ¿Cuál es la mejor manera de hacer esto?ββ\beta Una idea es encontrar las diferencias de los posteriores de y ver si 0 está en el...
¿Puede ser útil la regularización si solo estamos interesados en estimar (e interpretar) los parámetros del modelo, no en el pronóstico o la predicción? Veo cómo la regularización / validación cruzada es extremadamente útil si su objetivo es hacer buenos pronósticos sobre nuevos datos. Pero,...
En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor...
Sé que para acceder al rendimiento del clasificador tengo que dividir los datos en un conjunto de entrenamiento / prueba. Pero leyendo esto : Al evaluar diferentes configuraciones ("hiperparámetros") para estimadores, como la configuración C que debe configurarse manualmente para un SVM, todavía...
Me encontré con este hilo mirando las diferencias entre bootstrapping y validación cruzada: una gran respuesta y referencias por cierto. Lo que me pregunto ahora es, si tuviera que realizar un CV repetido de 10 veces para calcular la precisión de un clasificador, ¿cuántas veces n debería...
Supongamos que hago validación cruzada K-fold con K = 10 pliegues. Habrá una matriz de confusión para cada pliegue. Al informar los resultados, ¿debo calcular cuál es la matriz de confusión promedio o simplemente sumar las matrices de
Tengo un conjunto de datos con N ~ 5000 y falta aproximadamente 1/2 en al menos una variable importante. El principal método analítico será el riesgo proporcional de Cox. Planeo usar la imputación múltiple. También me dividiré en un tren y un set de prueba. ¿Debo dividir los datos y luego...
Estoy usando cv.glmnetpara encontrar predictores. La configuración que uso es la
De una Introducción al aprendizaje estadístico de James et al., La estimación de validación cruzada de dejar uno fuera (LOOCV) se define por CV(n)=1n∑i=1nMSEiCV(n)=1n∑i=1nMSEi\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i dondeMSEi=(yi−y^i)2MSEi=(yi−y^i)2\text{MSE}_i =...
Para calibrar un nivel de confianza a una probabilidad en el aprendizaje supervisado (por ejemplo, para mapear la confianza de un SVM o un árbol de decisión usando datos sobremuestreados), un método es usar la Escala de Platt (por ejemplo, Obteniendo Probabilidades Calibradas de Impulso...
Supongamos que normalmente tengo datos distribuidos. Para cada elemento de los datos, quiero verificar cuántas SD está lejos de la media. Puede haber un valor atípico en los datos (probablemente solo uno, pero también puede ser dos o tres) o no, pero este valor atípico es básicamente lo que estoy...
En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a...
Estoy usando modelos SVM para hacer pronósticos a corto plazo de contaminantes del aire. Para entrenar un nuevo modelo, necesito encontrar metaparámetros apropiados para un modelo SVM (me refiero a C, gamma, etc.). La documentación de Libsvm (y muchos otros libros que he leído) sugiere usar la...
He leído las siguientes publicaciones para la validación cruzada anidada y todavía no estoy 100% seguro de lo que debo hacer con la selección del modelo con validación cruzada anidada: Validación cruzada anidada para la selección del modelo Selección de modelo y validación cruzada: la forma...
¿Alguien puede decirme qué da exactamente un análisis de validación cruzada como resultado? ¿Es solo la precisión promedio o da algún modelo con parámetros ajustados? Porque, escuché en alguna parte que la validación cruzada se usa para el ajuste de
Si tengo datos y ejecuto una clasificación (digamos bosque aleatorio en estos datos) con validación cruzada (digamos 5 veces), ¿podría concluir que no hay un ajuste excesivo en mi
He estado utilizando la validación cruzada repetida de k veces y he estado informando la media (de la métrica de evaluación, por ejemplo, sensibilidad, especificidad) calculada como la gran media en los pliegues de diferentes corridas de la validación cruzada. Sin embargo, no estoy seguro de cómo...
¿La normalización de datos (para tener una media de desviación estándar de unidad y cero) antes de realizar una validación cruzada repetida de k veces tiene alguna consecuencia negativa como el sobreajuste? Nota: esto es para una situación donde #cases> total #características Estoy...
El paquete caret es una biblioteca R brillante para construir múltiples modelos de aprendizaje automático y tiene varias funciones para la construcción y evaluación de modelos. Para el ajuste de parámetros y la capacitación de modelos, el paquete caret ofrece 'repetido cv' como uno de los...