La función R cv.glm (biblioteca: arranque) calcula el error estimado de predicción de validación cruzada K-fold para modelos lineales generalizados y devuelve delta. ¿Tiene sentido usar esta función para una regresión de lazo (biblioteca: glmnet) y, de ser así, ¿cómo se puede llevar a cabo? La...
Leí sobre los conceptos básicos del análisis de componentes principales del tutorial1 , link1 y link2 . Tengo un conjunto de datos de 100 variables (incluida la variable de salida Y), quiero reducir las variables a 40 por PCA, y luego predecir la variable Y utilizando esas 40 variables. Problema...
Estoy usando regresión logística para la clasificación binaria. Tengo un gran conjunto de datos (está muy desequilibrado: 19: 1). Así que uso scikit-learn's LogisticRegression()para entrenar en el 80% de mis datos etiquetados y luego los validé con el otro 20% (miré el área bajo ROC y la...
Preguntas: ¿Se utilizan modelos lineales inadecuados en la práctica o se describe algún tipo de curiosidad de vez en cuando en revistas científicas? Si es así, ¿en qué áreas se utilizan? ¿Hay otros ejemplos de tales modelos? Finalmente, ¿serían correctos los errores estándar, los valores , R 2,...
En mi libro de texto econométrico (Econometría introductoria) que cubre OLS, el autor escribe: "SSR debe caer cuando se agrega otra variable explicativa". Por que
Leí en un libro de aprendizaje automático que los parámetros de regresión lineal se pueden estimar (entre otros métodos) por descenso de gradiente, mientras que los parámetros de regresión logística generalmente se estiman por estimación de máxima verosimilitud. ¿Es posible explicarle a un novato...
En este artículo , ( Inferencia bayesiana para componentes de varianza usando solo contrastes de error , Harville, 1974), el autor afirma es un "bien conocido relación ", para una regresión lineal
Considere un modelo de regresión lineal: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, donde εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , es decir , La distribución de Laplace con media 000 y parámetro de escala...
Cuando utilizo k-fold CV para seleccionar entre los modelos de regresión, generalmente calculo el error CV por separado para cada modelo, junto con su error estándar SE, y selecciono el modelo más simple dentro de 1 SE del modelo con el error CV más bajo (el 1 regla de error estándar, ver por...
¿Qué piensa sobre el uso de la regresión para proyectar fuera del rango de datos? Si estamos seguros de que sigue una forma de modelo lineal o de potencia, ¿no podría ser útil el modelo más allá del rango de datos? Por ejemplo, tengo un volumen impulsado por el precio. Deberíamos poder proyectar...
Estoy buscando una explicación 1) mecánica y 2) intuitiva de cómo se determinan los efectos de las variables individuales manteniendo constantes otras variables. En un ejemplo que usa datos de encuestas, ¿qué significa exactamente decir: "Con edad, sexo e ingresos constantes, el efecto de la...
Estoy un poco desconcertado por una fórmula presentada en "Introducción al aprendizaje estadístico" de Hastie. En el Capítulo 6, página 212 (sexta impresión, disponible aquí ), se indica que: Un yoC=R SSnorteσ^2+2 dnorteAIC=RSSnσ^2+2dnAIC = \frac{RSS}{n\hat\sigma^2} + \frac{2d}{n} Para modelos...
Supongo una configuración general de regresión, es decir, una función continua se elige de una familia { h θ } θ para ajustarse a los datos dados ( x i , y i ) ∈ X × R n , i = 1 , ... , k ( X puede ser cualquier espacio como el cubo [ 0 , 1 ] mo de hecho cualquier espacio topológico razonable) de...
Observé que la función lazo en MATLAB es relativamente lenta. Corro muchos problemas de regresión, con típicamente 1 a 100 predictores y 200 a 500 observaciones. En algunos casos, el lazo resultó ser extremadamente lento (para resolver un problema de regresión, tomó varios minutos). Descubrí que...
Mi colega y yo estamos tratando de entender la diferencia entre la regresión logística y un SVM. Claramente están optimizando diferentes funciones objetivas. ¿Es un SVM tan simple como decir que es un clasificador discriminatorio que simplemente optimiza la pérdida de la bisagra? ¿O es más complejo...
Los valores típicos de AIC que he visto para modelos logísticos están en miles, al menos cientos. Por ejemplo, en http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ el AIC es 727.39 Si bien siempre se dice que AIC debe usarse solo para comparar modelos, quería entender qué...
Supongamos que tenemos la matriz de datos , que es -by- , y el vector de etiqueta , que es -by-one. Aquí, cada fila de la matriz es una observación, y cada columna corresponde a una dimensión / variable. (suponga )XX\mathbf{X}nortenortenpagpagpYYYnortenortenn > pnorte>pagn>p Entonces, ¿qué...
Usando R en algunos datos e intentando ver si mis datos son o no heteroscedásticos, he encontrado dos implementaciones de la prueba Breusch-Pagan, bptest (package lmtest) y ncvTest (package car). Sin embargo, estos producen resultados diferentes. ¿Cuál es la diferencia entre los dos? ¿Cuándo...
¿Cómo asigno más peso a las observaciones más recientes en R? Supongo que esto es una pregunta o deseo común, pero me resulta difícil descubrir exactamente cómo implementar esto. He intentado buscar mucho para esto, pero no puedo encontrar un buen ejemplo práctico. En mi ejemplo, tendría un gran...
En modelos de series de tiempo, como ARMA-GARCH, para seleccionar el retraso u orden apropiado del modelo, se utilizan diferentes criterios de información, como AIC, BIC, SIC, etc. Mi pregunta es muy simple, ¿por qué no usamos ajustado para elegir el modelo apropiado? Podemos seleccionar un...