Digamos que queremos hacer una regresión simple f = x * yusando una red neuronal profunda estándar. Recuerdo que hay investigaciones que indican que NN con una capa oculta puede aproximarse a cualquier función, pero he intentado y sin normalización, NN no pudo aproximar ni siquiera esta simple...
Sabemos que algunas funciones objetivas son más fáciles de optimizar y otras son difíciles. Y hay muchas funciones de pérdida que queremos usar pero difíciles de usar, por ejemplo, pérdida 0-1. Entonces encontramos algunas funciones de pérdida de proxy para hacer el trabajo. Por ejemplo, usamos...
No estoy seguro si esta pregunta pertenece aquí, pero está estrechamente relacionada con los métodos de gradiente en la optimización, que parece estar en el tema aquí. De todos modos, siéntase libre de migrar si cree que alguna otra comunidad tiene una mejor experiencia en el tema. En resumen,...
Cuando presento conceptos a mis alumnos, a menudo me resulta divertido decirles dónde se origina la terminología ("regresión", por ejemplo, es un término con un origen interesante). No he podido subir la historia / antecedentes del término "regularización" en estadística / aprendizaje...
He observado que, en promedio, el valor absoluto del coeficiente de correlación de Pearson es una constante cercana a cualquier par de caminatas aleatorias independientes, independientemente de la longitud de la caminata.0.560.42 ¿Alguien puede explicar este fenómeno? Esperaba que las...
Cuando uso GAM, me da un DF residual de 26.626.626.6 (última línea en el código). Qué significa eso? Yendo más allá del ejemplo de GAM, en general, ¿puede el número de grados de libertad ser un número no entero? > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~...
Al entrenar una red neuronal de segmentación de píxeles, como redes completamente convolucionales, ¿cómo toma la decisión de utilizar la función de pérdida de entropía cruzada versus la función de pérdida de coeficiente de dados? Me doy cuenta de que esta es una pregunta corta, pero no estoy muy...
Estoy trabajando en aprendizaje automático teórico, en aprendizaje de transferencia, para ser específico, para mi doctorado. Por curiosidad, ¿por qué debería tomar un curso sobre optimización convexa? ¿Qué conclusiones de la optimización convexa puedo usar en mi investigación sobre aprendizaje...
El documento original de red elástica Zou & Hastie (2005) La regularización y la selección de variables a través de la red elástica introdujeron la función de pérdida neta elástica para la regresión lineal (aquí supongo que todas las variables están centradas y escaladas a la varianza...
Para los modelos estadísticos y de aprendizaje automático, existen múltiples niveles de interpretación: 1) el algoritmo en su conjunto, 2) partes del algoritmo en general 3) partes del algoritmo en entradas particulares, y estos tres niveles se dividen en dos partes cada uno, uno para entrenamiento...
Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado el año pasado . En los productos de tabaco, a menudo se puede...
Esto está algo relacionado con mi pregunta anterior aquí: ¿ Un ejemplo donde el principio de probabilidad * realmente * importa? Aparentemente, Deborah Mayo publicó un artículo en Statistical Science refutando la prueba de Birnbaum del principio de probabilidad. ¿Alguien puede explicar el...
¿Hay 99 percentiles o 100 percentiles? ¿Y son grupos de números, o líneas divisorias, o punteros a números individuales? Supongo que la misma pregunta se aplicaría para cuartiles o cualquier cuantil. He leído que el índice de un número en un percentil particular (p), dado n elementos, es i = (p /...
Viniendo del campo de la visión por computadora, a menudo he usado el método RANSAC (Random Sample Consensus) para ajustar modelos a datos con muchos valores atípicos. Sin embargo, nunca lo he visto utilizado por los estadísticos, y siempre he tenido la impresión de que no se consideraba un método...
En una pregunta en otra parte de este sitio, varias respuestas mencionaron que el AIC es equivalente a la validación cruzada de dejar uno fuera (LOO) y que el BIC es equivalente a la validación cruzada K-fold. ¿Hay alguna manera de demostrar esto empíricamente en R de modo que las técnicas...
Estoy ejecutando modelos de regresión LOESS en R, y quiero comparar los resultados de 12 modelos diferentes con diferentes tamaños de muestra. Puedo describir los modelos reales con más detalles si me ayuda a responder la pregunta. Aquí están los tamaños de muestra: Fastballs vs RHH 2008-09:...
Estoy interesado en obtener algunos libros sobre análisis multivariante y necesito sus recomendaciones. Los libros gratuitos siempre son bienvenidos, pero si conoce algún gran libro MVA no gratuito, por favor,
Proporcione un código R que le permita a uno realizar un ANOVA entre sujetos con -3, -1, 1, 3 contrastes. Entiendo que hay un debate con respecto al tipo apropiado de Suma de cuadrados (SS) para dicho análisis. Sin embargo, como el tipo predeterminado de SS utilizado en SAS y SPSS (Tipo III) se...
En la regresión lineal múltiple, puedo entender que las correlaciones entre el residual y los predictores son cero, pero ¿cuál es la correlación esperada entre el residual y la variable de criterio? ¿Debería esperarse que sea cero o altamente correlacionado? ¿Cuál es el significado de...
Anteriormente utilicé Forecast Pro para pronosticar series de tiempo univariantes, pero estoy cambiando mi flujo de trabajo a R. El paquete de pronósticos para R contiene muchas funciones útiles, pero una cosa que no hace es ningún tipo de transformación de datos antes de ejecutar Auto .arima ()....