¿Alguien puede recomendar una buena exposición de la teoría detrás de la regresión de mínimos cuadrados parciales (disponible en línea) para alguien que entiende SVD y PCA? He visto muchas fuentes en línea y no he encontrado nada que tuviera la combinación correcta de rigor y accesibilidad. He...
Soy un ingeniero de software que aprende el aprendizaje automático, particularmente a través de los cursos de aprendizaje automático de Andrew Ng . Mientras estudiaba la regresión lineal con la regularización , encontré términos que son confusos: Regresión con regularización L1 o regularización...
Al hacer la regresión, por ejemplo, dos hiperparámetros para elegir son a menudo la capacidad de la función (por ejemplo, el mayor exponente de un polinomio) y la cantidad de regularización. Lo que me confunde es, ¿por qué no elegir una función de baja capacidad y luego ignorar cualquier...
Nota: Sé que L1 tiene una propiedad de selección de características. Estoy tratando de entender cuál elegir cuando la selección de funciones es completamente irrelevante. ¿Cómo decidir qué regularización (L1 o L2) usar? ¿Cuáles son los pros y los contras de cada una de las regularizaciones L1 /...
Utilizo la función auto.arima () en el paquete de pronóstico para ajustar los modelos ARMAX con una variedad de covariables. Sin embargo, a menudo tengo una gran cantidad de variables para seleccionar y generalmente termino con un modelo final que funciona con un subconjunto de ellas. No me gustan...
Me gustaría usar GLM y Elastic Net para seleccionar esas características relevantes + construir un modelo de regresión lineal (es decir, predicción y comprensión, por lo que sería mejor quedarse con relativamente pocos parámetros). La salida es continua. Son genes por 50 casos. He estado leyendo...
βlasso=argminβ∥y−Xβ∥22+α∥β∥1βlasso=argminβ‖y−Xβ‖22+α‖β‖1\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1βlassoj=sgn(βLSj)(|βLSj|−α)+βjlasso=sgn(βjLS)(|βjLS|−α)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+...
He leído tres razones principales para estandarizar variables antes de algo como la Lassoregresión: 1) Interpretabilidad de coeficientes. 2) Capacidad para clasificar la importancia del coeficiente según la magnitud relativa de las estimaciones del coeficiente posterior a la contracción. 3) No...
Cuando presento conceptos a mis alumnos, a menudo me resulta divertido decirles dónde se origina la terminología ("regresión", por ejemplo, es un término con un origen interesante). No he podido subir la historia / antecedentes del término "regularización" en estadística / aprendizaje...
El documento original de red elástica Zou & Hastie (2005) La regularización y la selección de variables a través de la red elástica introdujeron la función de pérdida neta elástica para la regresión lineal (aquí supongo que todas las variables están centradas y escaladas a la varianza...
Cuando uso GAM, me da un DF residual de 26.626.626.6 (última línea en el código). Qué significa eso? Yendo más allá del ejemplo de GAM, en general, ¿puede el número de grados de libertad ser un número no entero? > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~...
Completé el curso de Aprendizaje automático de Andrew Ng hace aproximadamente un año, y ahora estoy escribiendo mi exploración de matemáticas en la escuela secundaria sobre el funcionamiento de la regresión logística y las técnicas para optimizar el rendimiento. Una de estas técnicas es, por...
He leído en varias referencias que la estimación de Lasso para el vector de parámetro de regresión es equivalente al modo posterior de en el que la distribución previa para cada es una distribución exponencial doble (también conocida como distribución de Laplace).BBBB iBBBBiBiB_i He estado...
Para la regresión Lasso suponga que la mejor solución (error de prueba mínimo, por ejemplo) selecciona k características, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lazo}, 0, ... 0 \ derecha) .k β l un s s o = ( β...
Una vez escuché un método de usar el lazo dos veces (como un lazo doble) en el que realizas un lazo en el conjunto original de variables, por ejemplo, S1, obtienes un conjunto disperso llamado S2 y luego vuelves a realizar el lazo en el conjunto S2 para obtener el conjunto S3 . ¿Existe un término...
Suponga que tengo un conjunto de datos para una tarea de clasificación estadística supervisada, por ejemplo, a través de un clasificador de Bayes. Este conjunto de datos consta de 20 características y quiero reducirlo a 2 características mediante técnicas de reducción de dimensionalidad como el...
Tengo varias preguntas sobre la penalización de cresta en el contexto de mínimos cuadrados: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) La expresión sugiere que la matriz de covarianza de X se reduce hacia una matriz diagonal, lo que significa que...
Supongamos que yo estoy corriendo una regresión . ¿Por qué al seleccionar los principales componentes principales de , el modelo conserva su poder predictivo en ?Y∼XY∼XY \sim XkkkXXXYYY Entiendo que desde el punto de vista de reducción de dimensionalidad / selección de características, si son los...
Entiendo qué papel juega lambda en una regresión de red elástica. Y puedo entender por qué uno seleccionaría lambda.min, el valor de lambda que minimiza el error de validación cruzada. Mi pregunta es ¿En qué parte de la literatura estadística se recomienda usar lambda.1se, que es el valor de...
Entonces me hicieron una pregunta sobre qué medidas centrales L1 (es decir, lazo) y L2 (es decir, regresión de cresta) estimaron. La respuesta es L1 = mediana y L2 = media. ¿Hay algún tipo de razonamiento intuitivo para esto? ¿O tiene que determinarse algebraicamente? Si es así, ¿cómo hago para...