Cuando trato de seleccionar entre varios modelos o la cantidad de características a incluir, digamos predicción, puedo pensar en dos enfoques. Divida los datos en conjuntos de entrenamiento y prueba. Mejor aún, use bootstrapping o k-fold cross-validation. Entrene en el conjunto de entrenamiento...
La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia...
En su artículo Linear Model Selection by Cross-Validation , Jun Shao muestra que para el problema de la selección de variables en la regresión lineal multivariante, el método de validación cruzada de dejar-fuera-fuera (LOOCV) es 'asintóticamente inconsistente'. En inglés simple, tiende a...
¿Cuál es la propiedad oráculo de un estimador? ¿Para qué objetivos de modelado es relevante la propiedad del oráculo (predictivo, explicativo, ...)? Las explicaciones teóricamente rigurosas y (especialmente) intuitivas son
Soy nuevo en esta cosa R pero no estoy seguro de qué modelo seleccionar. Hice una regresión progresiva hacia adelante seleccionando cada variable en función del AIC más bajo. Se me ocurrieron 3 modelos que no estoy seguro de cuál es el "mejor". Model 1: Var1 (p=0.03) AIC=14.978 Model 2: Var1...
Introducción: Tengo un conjunto de datos con un clásico "problema grande p, pequeño n". El número de muestras disponibles n = 150, mientras que el número de posibles predictores p = 400. El resultado es una variable continua. Quiero encontrar los descriptores más "importantes", es decir, aquellos...
Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de...
Nota: El caso es n >> p Estoy leyendo Elementos de aprendizaje estadístico y hay varias menciones sobre la forma "correcta" de hacer la validación cruzada (por ejemplo, página 60, página 245). Específicamente, mi pregunta es ¿cómo evaluar el modelo final (sin un conjunto de pruebas separado)...
Quiero ver si estoy en el camino correcto analizando mis gráficos ACF y PACF: Antecedentes: (Reff: Philip Hans Franses, 1998) Como tanto ACF como PACF muestran valores significativos, supongo que un modelo ARMA satisfará mis necesidades El ACF se puede usar para estimar la parte MA, es decir,...
En un pequeño conjunto de datos ( ) con el que estoy trabajando, varias variables me dan una predicción / separación perfecta . Por lo tanto, utilizo la regresión logística de Firth para tratar el problema.n ∼ 100norte∼100n\sim100 Si selecciono el mejor modelo por AIC o BIC , ¿debo incluir el...
¿Alguien podría aconsejar si lo siguiente tiene sentido: Estoy tratando con un modelo lineal ordinario con 4 predictores. Estoy en dos mentes si abandonar el término menos significativo. Su valor ppp es un poco más de 0.05. He argumentado a favor de dejarlo caer en estas líneas: multiplicar la...
La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy...
¿Cómo podemos comparar la complejidad de dos modelos con el mismo número de parámetros? Edición 19/09 : para aclarar, la complejidad del modelo es una medida de lo difícil que es aprender de datos limitados. Cuando dos modelos se ajustan igualmente bien a los datos existentes, un modelo con menor...
Considere los siguientes datos de un diseño bidireccional dentro de los sujetos: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim...
¿Puede ser útil la regularización si solo estamos interesados en estimar (e interpretar) los parámetros del modelo, no en el pronóstico o la predicción? Veo cómo la regularización / validación cruzada es extremadamente útil si su objetivo es hacer buenos pronósticos sobre nuevos datos. Pero,...
Después de leer "Explicar o predecir " de Galit Shmueli (2010), me sorprende una aparente contradicción. Hay tres premisas, Elección del modelo basado en AIC versus BIC (final de p. 300 - comienzo de p. 301): simplemente, AIC debe usarse para seleccionar un modelo destinado a predicción, mientras...
Contexto: De una pregunta sobre Mathematics Stack Exchange (¿Puedo construir un programa) , alguien tiene un conjunto de puntos y , y quiere ajustarle una curva, lineal, exponencial o logarítmica. El método habitual es comenzar eligiendo uno de estos (que especifica el modelo) y luego hacer los...
Contexto Esta pregunta usa R, pero trata sobre cuestiones estadísticas generales. Estoy analizando los efectos de los factores de mortalidad (% de mortalidad por enfermedad y parasitismo) en la tasa de crecimiento de la población de polillas a lo largo del tiempo, donde se tomaron muestras de las...
Esta pregunta es un seguimiento o intento de aclarar la posible confusión con respecto a un tema que yo y muchos otros encontramos un poco difícil, con respecto a la diferencia entre AIC y BIC. En una muy buena respuesta de @Dave Kellen sobre este tema ( /stats//a/767/30589 ) leemos: Su pregunta...
Esta es mi primera publicación en StackExchange, pero la he estado utilizando como recurso durante bastante tiempo, haré todo lo posible para usar el formato apropiado y realizar las ediciones apropiadas. Además, esta es una pregunta de varias partes. No estaba seguro de si debía dividir la...