Preguntas etiquetadas con cross-validation

10

¿Por qué Anova () y drop1 () proporcionaron diferentes respuestas para GLMM?

Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos...

r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

10

¿Cómo decide cuáles son sus porcentajes de tren, validación y prueba?

Al dividir mis datos etiquetados en conjuntos de entrenamiento, validación y prueba, he escuchado de todo, desde 25/25/25 hasta 85/5/10. Estoy seguro de que esto depende de cómo va a utilizar su modelo y de cuán propenso es sobreajustar su algoritmo de aprendizaje. ¿Hay alguna forma de decidir o es...

machine-learning cross-validation

10

Modelo de historial de eventos en tiempo discreto (supervivencia) en R

Estoy tratando de ajustar un modelo de tiempo discreto en R, pero no estoy seguro de cómo hacerlo. He leído que puede organizar la variable dependiente en diferentes filas, una para cada observación de tiempo, y usar la glmfunción con un enlace logit o cloglog. En este sentido, tengo tres...

r survival pca sas matlab neural-networks r logistic spatial spatial-interaction-model r time-series econometrics var statistical-significance t-test cross-validation sample-size r regression optimization least-squares constrained-regression nonparametric ordinal-data wilcoxon-signed-rank references neural-networks jags bugs hierarchical-bayesian gaussian-mixture r regression svm predictive-models libsvm scikit-learn probability self-study stata sample-size spss wilcoxon-mann-whitney survey ordinal-data likert group-differences r regression anova mathematical-statistics normal-distribution random-generation truncation repeated-measures variance variability distributions random-generation uniform regression r generalized-linear-model goodness-of-fit data-visualization r time-series arima autoregressive confidence-interval r time-series arima autocorrelation seasonality hypothesis-testing bayesian frequentist uninformative-prior correlation matlab cross-correlation

10

¿Cómo incorporo un valor atípico innovador en la observación 48 en mi modelo ARIMA?

Estoy trabajando en un conjunto de datos. Después de usar algunas técnicas de identificación de modelos, obtuve un modelo ARIMA (0,2,1). Utilicé la detectIOfunción en el paquete TSAen R para detectar un valor atípico innovador (IO) en la observación número 48 de mi conjunto de datos...

r time-series arima outliers hypergeometric fishers-exact r time-series intraclass-correlation r logistic glmm clogit mixed-model spss repeated-measures ancova machine-learning python scikit-learn distributions data-transformation stochastic-processes web standard-deviation r machine-learning spatial similarities spatio-temporal binomial sparse poisson-process r regression nonparametric r regression logistic simulation power-analysis r svm random-forest anova repeated-measures manova regression statistical-significance cross-validation group-differences model-comparison r spatial model-evaluation parallel-computing generalized-least-squares r stata fitting mixture hypothesis-testing categorical-data hypothesis-testing anova statistical-significance repeated-measures likert wilcoxon-mann-whitney boxplot statistical-significance confidence-interval forecasting prediction-interval regression categorical-data stata least-squares experiment-design skewness reliability cronbachs-alpha r regression splines maximum-likelihood modeling likelihood-ratio profile-likelihood nested-models

10

Comparación de distribuciones de rendimiento de generalización

Digamos que tengo dos métodos de aprendizaje para un problema de clasificación , y , y que calculo su rendimiento de generalización con algo como validación cruzada repetida o bootstrapping. De este proceso obtengo una distribución de puntajes y para cada método a través de estas repeticiones (por...

cross-validation model-selection

10

¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)?

¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la...

dataset cross-validation experiment-design feature-selection

10

¿Cuándo no usar validación cruzada?

A medida que leo en el sitio, la mayoría de las respuestas sugieren que la validación cruzada debe hacerse en algoritmos de aprendizaje automático. Sin embargo, mientras leía el libro "Comprensión del aprendizaje automático", vi que hay un ejercicio que a veces es mejor no usar la validación...

machine-learning self-study cross-validation

10

Superioridad de LASSO sobre la selección hacia adelante / eliminación hacia atrás en términos del error de predicción de validación cruzada del modelo

Obtuve tres modelos reducidos de un modelo completo original usando selección hacia adelante eliminación hacia atrás Técnica de penalización L1 (LASSO) Para los modelos obtenidos usando la selección hacia adelante / eliminación hacia atrás, obtuve la estimación validada cruzada del error de...

cross-validation model-selection lasso stepwise-regression

10

¿Es 'justo' establecer una semilla en una regresión forestal aleatoria para obtener la mayor precisión?

Tengo una regresión forestal aleatoria construida usando skl y noto que produzco diferentes resultados basados en establecer la semilla aleatoria en diferentes valores. Si uso LOOCV para establecer qué semilla funciona mejor, ¿es este un método válido?

cross-validation random-forest

10

¿Cómo hacer la validación cruzada con cv.glmnet (regresión LASSO en R)?

Me pregunto cómo abordar adecuadamente el entrenamiento y la prueba de un modelo LASSO usando glmnet en R. Específicamente, me pregunto cómo hacerlo si la falta de un conjunto de datos de prueba externo requiere el uso de validación cruzada (u otro enfoque similar) para probar mi modelo...

r cross-validation glmnet lasso

10

¿Es la validación de retención una mejor aproximación de "obtener nuevos datos" que k-fold CV?

He estado repensando una respuesta que le di a una pregunta hace un par de semanas La validación cruzada de retención produce un único conjunto de pruebas que se puede usar repetidamente para la demostración. Todos parecemos estar de acuerdo en que esto es en muchos aspectos una característica...

cross-validation

10

¿Cómo elegir la capacitación, la validación cruzada y los tamaños de los conjuntos de prueba para datos de tamaño de muestra pequeño?

Suponga que tengo un tamaño de muestra pequeño, por ejemplo, N = 100 y dos clases. ¿Cómo debo elegir la capacitación, la validación cruzada y los tamaños de los conjuntos de prueba para el aprendizaje automático? Yo elegiría intuitivamente Tamaño del set de entrenamiento como 50 Conjunto de...

machine-learning sampling svm cross-validation sample-size

10

Implementación de validación cruzada anidada

Estoy tratando de averiguar si mi comprensión de la validación cruzada anidada es correcta, por lo tanto, escribí este ejemplo de juguete para ver si tengo razón: import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import...

cross-validation python scikit-learn

10

Regresión aleatoria del bosque para predicción de series de tiempo

Intento utilizar la regresión de RF para hacer predicciones sobre el rendimiento de una fábrica de papel. Tengo datos minuto a minuto para las entradas (velocidad y cantidad de pulpa de madera que ingresa, etc.), así como para el rendimiento de la máquina (papel producido, energía consumida por la...

time-series forecasting cross-validation random-forest autoregressive

10

Validación cruzada anidada: ¿en qué se diferencia de la selección del modelo a través de kfold CV en el conjunto de entrenamiento?

A menudo veo personas hablando de validación cruzada 5x2 como un caso especial de validación cruzada anidada . Supongo que el primer número (aquí: 5) se refiere al número de pliegues en el bucle interno y el segundo número (aquí: 2) se refiere al número de pliegues en el bucle externo. Entonces,...

machine-learning cross-validation hyperparameter

10

¿El modelado con bosques aleatorios requiere validación cruzada?

Hasta donde he visto, las opiniones tienden a diferir sobre esto. La mejor práctica ciertamente dictaría el uso de validación cruzada (especialmente si se comparan RF con otros algoritmos en el mismo conjunto de datos). Por otro lado, la fuente original afirma que el hecho de que el error OOB se...

cross-validation random-forest overfitting out-of-sample

10

¿Qué métodos existen para ajustar los hiperparámetros SVM del kernel gráfico?

Tengo algunos datos que existen en un gráfico . Los vértices pertenecen a una de las dos clases , y estoy interesado en entrenar un SVM para distinguir entre las dos clases. Un núcleo apropiado para esto es el núcleo de difusión , donde es el laplaciano de y es un parámetro de ajuste.G = ( V,...

svm cross-validation kernel-trick graph-theory

10

Evitar que falle el muestreo de importancia suavizado de Pareto (PSIS-LOO)

Recientemente comencé a usar la validación cruzada de muestreo de importancia suavizada Pareto (PSIS-LOO), descrita en estos documentos: Vehtari, A. y Gelman, A. (2015). Pareto suavizó el muestreo de importancia. preimpresión arXiv ( enlace ). Vehtari, A., Gelman, A. y Gabry, J. (2016)....

machine-learning cross-validation mcmc pareto-distribution importance-sampling

9

Calcular curva ROC para datos

Entonces, tengo 16 ensayos en los que estoy tratando de autenticar a una persona de un rasgo biométrico usando Hamming Distance. Mi umbral está establecido en 3.5. Mis datos están a continuación y solo la prueba 1 es un verdadero positivo: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5...

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

9

PRESIONE la estadística para la regresión de cresta

En mínimos cuadrados ordinarios, regresando un vector objetivo yyy contra un conjunto de predictores XXX, la matriz del sombrero se calcula como H= X(XtX)- 1XtH=X(XtX)−1XtH = X (X^tX)^{-1} X^t y la PRENSA (suma residual de cuadrados prevista) se calcula mediante SSPAGS=∑yo(miyo1 -hyo...

regression cross-validation ridge-regression