Estadísticas y Big Data

Siéntase libre de sustituir las 'revistas' por cualquier otro portal útil de conocimiento. Estoy interesado en vigilar los nuevos desarrollos en el aprendizaje automático, con miras a aplicaciones prácticas. No soy un académico que busca publicar mi propio trabajo (al menos no en este campo), pero...

La pregunta es simplemente qué se dice en el título: ¿ Cuándo falla la ley de los grandes números? Lo que quiero decir es, ¿en qué casos la frecuencia de un evento no tenderá a la probabilidad

Supongamos .Xβ=YXβ=YX\beta =Y No sabemos exactamente, sólo su correlación con cada predictor, .X t YYYYXtYXtYX^\mathrm{t}Y La solución de mínimos cuadrados ordinarios (OLS) es y no hay ningún problema.β=(XtX)−1XtYβ=(XtX)−1XtY\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y Pero supongamos que es casi...

Quiero calcular coeficientes para una regresión que es muy similar a la regresión logística (En realidad, regresión logística con otro coeficiente: cuandoApodría ser dada). Pensé en usar GMM para calcular los coeficientes, pero no estoy seguro de cuáles son las condiciones de momento que debería...

Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <-...

Digamos que se le dan dos conjuntos de datos multivariados, digamos uno antiguo y uno nuevo, y que se supone que fueron generados por el mismo proceso (para el que no tiene modelo), pero tal vez, en algún lugar a lo largo de la línea de recopilación / creación los datos, algo salió mal. No querrá...

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 7 años . Corregir los exámenes es probablemente la tarea...

Si tengo un determinado conjunto de datos, ¿qué tan inteligente sería inicializar los centros de clúster utilizando muestras aleatorias de ese conjunto de datos? Por ejemplo, supongamos que quiero 5 clusters. Supongo que 5 random samplesdel size=20%conjunto de datos original. ¿Podría entonces...

La prueba de uniformidad es algo común, sin embargo, me pregunto cuáles son los métodos para hacerlo en una nube de puntos

Estoy tratando de modelar algunos datos usando el glmnetpaquete en R. Digamos que tengo los siguientes datos training_x <- data.frame(variable1 = c(1, 2, 3, 2, 3), variable2 = c(1, 2, 3, 4, 5)) y <- c(1, 2, 3, 4, 5) (Esto es una simplificación; mis datos son mucho más complicados). Luego...

Estas dos funciones existen en R pero no sé sus diferencias. Parece que solo devuelven los mismos valores p cuando se llama wilcox.testcon correct=FALSE, y wilcox_test(en el paquete de monedas) con distribution="aymptotic". Para otros valores, devuelven valores p diferentes. También...

Estoy tratando de ejecutar un logit bayesiano en los datos aquí . Estoy usando bayesglm()el armpaquete en R. La codificación es bastante sencilla: df = read.csv("http://dl.dropbox.com/u/1791181/bayesglm.csv", header=T) library(arm) model = bayesglm(PASS ~ SEX + HIGH, family=binomial(link="logit"),...

Me encantaría realizar una prueba post-hoc de TukeyHSD después de mi Anova bidireccional con R, obteniendo una tabla que contenga los pares ordenados agrupados por diferencia significativa. (Perdón por la redacción, todavía soy nuevo con las estadísticas). Me gustaría tener algo como...

Tengo dos muestras ( en ambos casos). Las medias difieren en aproximadamente el doble del estándar combinado. dev. El valor resultante es aproximadamente 10. Si bien es bueno saber que he demostrado de manera concluyente que las medias no son las mismas, me parece que esto se debe a la gran n. Al...

Mi equipo y yo quisiéramos dar una presentación a los no estadísticos de la compañía sobre la utilidad del diseño de experimentos. Estos no estadísticos también son nuestros clientes y generalmente no nos consultan antes de recopilar sus datos. ¿Conoce algunos ejemplos reales que ilustrarían la...

Supongamos que tenemos un conjunto de puntos . Cada punto se genera utilizando la distribución Para obtener posterior para escribimos De acuerdo con el documento de Minka en Expectativa Propagación tenemos cálculos para obtener posterior y, así, se convierte en un problema insoluble para grandes...

¿Estabilidad beta en regresión lineal con alta multicolinealidad? Digamos que en una regresión lineal, las variables y x 2 tienen una alta multicolinealidad (la correlación es de alrededor de 0.9).X1x1x_1X2x2x_2 Nos preocupa la estabilidad del coeficiente , por lo que debemos tratar la...

Entiendo teóricamente (más o menos) cómo funcionarían, pero no estoy seguro de cómo hacerlo utilizando un método de conjunto (como votación, mezclas ponderadas, etc.). ¿Cuáles son buenos recursos para implementar métodos de conjunto? ¿Hay algún recurso en particular con respecto a la...

¡Los gráficos a continuación son gráficos de dispersión residual de una prueba de regresión para la cual ya se han cumplido los supuestos de "normalidad", "homocedasticidad" e "independencia"! Para probar el supuesto de "linealidad" , aunque, al observar los gráficos, se puede adivinar que la...

"Machine Learning For Hackers" de O'Reilly dice que cada componente principal representa un porcentaje de la variación. He citado la parte relevante de la página a continuación (capítulo 8, p. 207). Hablando con otro experto, acordaron que es el porcentaje. Sin embargo, los 24 componentes suman...