Estoy aprendiendo sobre splines del libro "Los elementos de la minería de datos estadísticos de aprendizaje, inferencia y predicción" de Hastie et al. En la página 145 descubrí que las estrías cúbicas naturales son lineales más allá de los nudos de límite. Hay KKK nudos, en las splines y se da lo...
Considere un problema de regresión OLS estándar : Tengo matrices y \ X y quiero encontrar \ B para minimizar L = \ | \ Y- \ X \ B \ | ^ 2. La solución viene dada por \ hat \ B = \ argmin_ \ B \ {L \} = (\ X ^ \ top \ X) ^ + \ X ^ \ top \ Y.\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf...
Mi pregunta es: ¿Cuál es la relación matemática entre el distribución Beta y los coeficientes del modelo de regresión logística ? Para ilustrar: la función logística (sigmoidea) viene dada por f(x)=11+exp(−x)f(x)=11+exp(−x)f(x) = \frac{1}{1+\exp(-x)} y se usa para modelar probabilidades en el...
¿Qué es el modelo nulo en regresión y cuál es la relación entre el modelo nulo y la hipótesis nula? Para mi entender, ¿significa ¿Usando el "promedio de la variable de respuesta" para predecir la variable de respuesta continua? ¿Usando la "distribución de etiquetas" en la predicción de...
En la práctica, el uso de una prueba T estándar para verificar la importancia de un coeficiente de regresión lineal es una práctica común. La mecánica del cálculo tiene sentido para mí. ¿Por qué es que la distribución T puede usarse para modelar el estadístico de prueba estándar usado en la prueba...
Estoy tratando de leer sobre la investigación en el área de regresión de alta dimensión; cuando ppp es mayor que nnn , es decir, p>>np>>np >> n . Parece que el término logp/nlogp/n\log p/n aparece a menudo en términos de tasa de convergencia para estimadores de regresión. Por ejemplo,...
http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Si nos fijamos en la parte superior de esta publicación, el escritor menciona que la norma L2 tiene una solución única y la norma L1 tiene posiblemente muchas soluciones. Entiendo esto en términos de...
Hace un tiempo, un usuario en la lista de correo de R-help preguntó sobre la solidez del uso de las puntuaciones de PCA en una regresión. El usuario está tratando de usar algunas puntuaciones de PC para explicar la variación en otra PC (vea la discusión completa aquí ). La respuesta fue que no,...
Actualmente estoy evaluando la multicolinealidad en mis conjuntos de datos. ¿Qué valores de umbral de VIF e índice de condición por debajo / arriba sugieren un problema? VIF: He escuchado que VIF es un problema.≥ 10≥10\geq 10 Después de eliminar dos variables problemáticas, VIF es para cada...
En "Los elementos del aprendizaje estadístico" (2ª ed.), P63, los autores dan las siguientes dos formulaciones del problema de regresión de crestas: β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβ2j}β^ridge=argminβ{∑i=1N(yi−β0−∑j=1pxijβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} =...
Dadas dos matrices x e y, ambas de longitud n, calzo un modelo y = a + b * x y quiero calcular un intervalo de confianza del 95% para la pendiente. Esto es (b - delta, b + delta) donde b se encuentra de la manera habitual y delta = qt(0.975,df=n-2)*se.slope y se.slope es el error estándar en la...
Hice esta pregunta en el sitio matemathics stackexchange y me recomendó preguntar aquí. Estoy trabajando en un proyecto de hobby y necesitaría ayuda con el siguiente problema. Un poco de contexto Digamos que hay una colección de artículos con una descripción de características y un precio....
Estoy tratando de entender cómo funcionan las funciones de influencia. ¿Podría alguien explicar en el contexto de una regresión OLS simple yyo= α + β⋅ xyo+ εyoyi=α+β⋅xi+εi\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation} donde quiero la función de influencia para...
¿Hay alguna razón de lo que puedo pensar para transformar los datos con una raíz cuadrada? Quiero decir que lo que siempre observo es que el R ^ 2 aumenta. ¡Pero esto es probablemente solo por centrar los datos! Cualquier pensamiento es
Me interesaría encontrar formas en R para actualizar eficientemente un modelo lineal cuando se agrega una observación o un predictor. biglm tiene una capacidad de actualización al agregar observaciones, pero mis datos son lo suficientemente pequeños como para residir en la memoria (aunque tengo una...
La página de ayuda para Prism ofrece la siguiente explicación sobre cómo calcula las bandas de predicción para la regresión no lineal. Disculpe la cita larga, pero no estoy siguiendo el segundo párrafo (que explica cómo se define y d YG|xG|xG|xdY/dPdY/dPdY/dP is computed). Any help would be greatly...
Digamos que tengo N observaciones, posiblemente múltiples factores y repito cada observación dos veces (o M veces) ¿cómo se compararía una regresión en este nuevo conjunto de tamaños NM con una regresión solo en las observaciones
Estoy trabajando con un conjunto de datos que tiene N alrededor de 200,000. En las regresiones, veo valores de significancia muy pequeños << 0.001 asociados con tamaños de efectos muy pequeños, por ejemplo, r = 0.028. Lo que me gustaría saber es, ¿hay alguna forma de principio de decidir un...
Me he estado preguntando, ¿por qué los métodos de selección de modelos LASSO y LARS son tan populares a pesar de que son básicamente variaciones de la selección progresiva (y por lo tanto sufren de dependencia de ruta)? Del mismo modo, ¿por qué los métodos de General a Específico (GETS) para la...
Tengo en mente las fórmulas R-cuadrado ajustadas propuestas por: Ezekiel (1930), que creo que es el que se usa actualmente en SPSS. R2adjusted=1−(N−1)(N−p−1)(1−R2)Radjusted2=1−(N−1)(N−p−1)(1−R2)R^2_{\rm adjusted} = 1 - \frac{(N-1)}{(N-p-1)} (1-R^2) Olkin y Pratt (1958)...