Estadísticas y Big Data

Básicamente, mi pregunta es que en los perceptrones multicapa, los perceptrones se usan con una función de activación sigmoidea. Para que en la regla de actualización se calcule comoy^y^\hat{y} y^= 11 + exp( - wTXyo)y^=11+exp⁡(-wTXyo)\hat{y} = \frac{1}{1+\exp(-\mathbf{w}^T\mathbf{x}_i)} ¿En qué...

Observo un comportamiento muy extraño en el resultado SVD de datos aleatorios, que puedo reproducir tanto en Matlab como en R. Parece un problema numérico en la biblioteca LAPACK; ¿Lo es? Extraigo muestras de la Gaussiana dimensional con media cero y covarianza de identidad: . Les reunir en un...

Recientemente, me encontré con varios documentos y recursos en línea que mencionan la causalidad de Granger . La breve búsqueda en el artículo de Wikipedia correspondiente me dejó con la impresión de que este término se refiere a la causalidad en el contexto de series de tiempo (o, más...

He leído el lema de Neyman-Pearson del libro Introducción a la teoría de la estadística de Mood, Graybill y Boes. Pero no he entendido el lema. ¿Alguien puede explicarme el lema en palabras sencillas? ¿Qué dice? Lema de Neyman-Pearson: Sea una muestra aleatoria de , donde es uno de los dos...

A menudo se menciona que las unidades lineales rectificadas (ReLU) han reemplazado a las unidades softplus porque son lineales y más rápidas de calcular. ¿Softplus todavía tiene la ventaja de inducir la dispersión o está restringido a la ReLU? La razón por la que pregunto es porque me pregunto...

Tengo un conjunto de datos con tres variables categóricas y quiero visualizar la relación entre las tres en un gráfico. ¿Algunas ideas? Actualmente estoy usando los siguientes tres gráficos: Cada gráfico es para un nivel de depresión basal (leve, moderado, severo). Luego, dentro de cada gráfico,...

Gelman y Hill (2006) escriben en p46 que: El supuesto de regresión que generalmente es menos importante es que los errores se distribuyen normalmente. De hecho, con el propósito de estimar la línea de regresión (en comparación con la predicción de puntos de datos individuales), el supuesto de...

¿Esta distribución discreta tiene un nombre? Parai∈1...Nyo∈1 ...nortei \in 1...N f(i)=1N∑Nj=i1jF(yo)=1norte∑j=yonorte1jf(i) = \frac{1}{N} \sum_{j = i}^N \frac{1}{j} Me encontré con esta distribución de lo siguiente: Tengo una lista de elementos clasificados por alguna función de utilidad. Quiero...

En muchas aplicaciones de aprendizaje automático, los llamados métodos de aumento de datos han permitido construir mejores modelos. Por ejemplo, suponga un conjunto de entrenamiento de100100100 imágenes de gatos y perros. Al girar, reflejar, ajustar el contraste, etc., es posible generar imágenes...

Estoy tratando de diseñar por mí mismo cuando es apropiado usar qué tipo de regresión (geométrica, Poisson, binomial negativa) con datos de recuento, dentro del marco GLM (solo 3 de las 8 distribuciones GLM se usan para datos de recuento, aunque la mayoría de lo que He leído centros alrededor de...

Ejecuté una validación cruzada 10 veces en diferentes algoritmos de clasificación binaria, con el mismo conjunto de datos, y recibí resultados promediados Micro y Macro. Cabe mencionar que este fue un problema de clasificación de etiquetas múltiples. En mi caso, los verdaderos negativos y los...

Estoy tratando de ajustar modelos lineales generalizados a algunos conjuntos de datos de conteo que pueden o no estar dispersos. Las dos distribuciones canónicas que se aplican aquí son Poisson y Binomial Negativo (Negbin), con EV y varianza.μμ\mu Vun rPAGS= μVarP=μVar_P = \mu Vun rnortesi= μ +...

Supongamos que estoy tratando de estimar una gran cantidad de parámetros a partir de algunos datos de alta dimensión, utilizando algún tipo de estimaciones regularizadas. El regularizador introduce cierto sesgo en las estimaciones, pero aún puede ser una buena compensación porque la reducción en la...

Tengo algunos datos básicos sobre la reducción de emisiones y el costo por automóvil: q24 <- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") Sé que esta es una función exponencial, por lo que...

Deje que un palo de longitud 1 se rompa en fragmentos uniformemente al azar. ¿Cuál es la distribución de la longitud del fragmento más largo?k + 1k+1k+1 Más formalmente, sea ser IID , y sea las estadísticas de pedido asociadas, es decir , simplemente ordenamos la muestra de tal manera que . Deje...

Quiero modelar una regresión logística con datos desequilibrados (9: 1). Quería probar la opción de pesos en la glmfunción en R, pero no estoy 100% seguro de lo que hace. Digamos que mi variable de salida es c(0,0,0,0,0,0,0,0,0,1). ahora quiero darle al "1" 10 veces más peso. entonces doy el...

No entiendo por qué la variable aleatoria "binomial negativa" tiene ese nombre. ¿Qué tiene de negativo? ¿Qué tiene de binomial? ¿Qué tiene de negativo el

Considere el modelo estándar para regresión múltiple donde , por lo que la normalidad, la homocedasticidad y la falta de correlación de errores se mantienen.ε ∼ N ( 0 , σ 2 I n )Y= Xβ+ εY=Xβ+εY=X\beta+\varepsilonε ∼ N( 0 , σ2yonorte)ε∼N(0,σ2In)\varepsilon \sim \mathcal N(0, \sigma^2I_n) Supongamos...

Tengo un gran conjunto de vectores de características que usaré para atacar un problema de clasificación binaria (usando scikit learn en Python). Antes de comenzar a pensar en la imputación, estoy interesado en tratar de determinar, a partir de las partes restantes de los datos, si los datos...

En aras de la simplicidad, digamos que estoy trabajando en el ejemplo clásico de correos electrónicos no deseados / no deseados. Tengo un conjunto de 20000 correos electrónicos. De estos, sé que 2000 son spam, pero no tengo ningún ejemplo de correos electrónicos que no sean spam. Me gustaría...