Estadísticas y Big Data

La regresión de cresta estima los parámetros ββ\boldsymbol \beta en un modelo lineal by dondeß λ = ( X ⊤ X + λ I ) - 1 X ⊤ y , λy=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \betaβ^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}...

Si comenzamos con un conjunto de datos , le aplicamos Lasso y obtenemos una solución β L , podemos volver a aplicar Lasso al conjunto de datos ( X S , Y ) , donde S es el conjunto de valores distintos de cero. índices de β L , para obtener una solución, β R L , llamada solución 'LASSO relajada'...

El cálculo bayesiano aproximado es una técnica realmente genial para ajustar básicamente cualquier modelo estocástico, destinado a modelos donde la probabilidad es intratable (por ejemplo, puede tomar muestras del modelo si fija los parámetros pero no puede calcular la probabilidad numérica,...

Al aprender la red neuronal convolucional, tengo preguntas sobre la siguiente figura. 1) C1 en la capa 1 tiene 6 mapas de características, ¿eso significa que hay seis núcleos convolucionales? Cada núcleo convolucional se utiliza para generar un mapa de características basado en la entrada. 2) S1...

Hace poco estuve leyendo un artículo que incorporó la aleatoriedad en su confianza e intervalos creíbles, y me preguntaba si esto es estándar (y, de ser así, por qué es algo razonable). Para establecer la notación, suponga que nuestros datos son x∈Xx∈Xx \in X y estamos interesados ​​en crear...

Para la distribución normal, hay un estimador imparcial de la desviación estándar dada por: σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2−−−−−−−−−−−−√σ^unbiased=Γ(n−12)Γ(n2)12∑k=1n(xi−x¯)2\hat{\sigma}_\text{unbiased} = \frac{\Gamma(\frac{n-1}{2})}{\Gamma(\frac{n}{2})}...

Acabo de comenzar a estudiar estadísticas y no puedo obtener una comprensión intuitiva de la suficiencia. Para ser más precisos, no puedo entender cómo mostrar que los dos párrafos siguientes son equivalentes: Aproximadamente, dado un conjunto X de datos independientes distribuidos idénticamente...

Estoy realizando una prueba de bondad de ajuste de chi-cuadrado (GOF) con tres categorías y específicamente quiero probar la nula de que las proporciones de población en cada categoría son iguales (es decir, la proporción es 1/3 en cada grupo):                 DATOS OBSERVADOS Grupo 1     Grupo 2...

En la regresión de mínimos cuadrados parciales (PLSR) o la modelación de ecuaciones estructurales de mínimos cuadrados parciales (PLS-SEM), ¿a qué se refiere el término

¿Son los componentes de PCA (en el análisis de componentes principales) estadísticamente independientes si nuestros datos son multivariados normalmente distribuidos? Si es así, ¿cómo se puede demostrar / probar esto? Pregunto porque vi esta publicación , donde la respuesta principal dice: PCA...

Pido disculpas de antemano por el hecho de que todavía estoy avanzando en esto. Estoy tratando de entender los pros y los contras de usar tanh (mapa -1 a 1) versus sigmoide (mapa 0 a 1) para mi función de activación neuronal. De mi lectura sonaba como algo menor con diferencias marginales. En la...

Estoy trabajando en un alogoritmo en R para automatizar un cálculo de pronóstico mensual. Estoy usando, entre otros, la función ets () del paquete de pronóstico para calcular el pronóstico. Está funcionando muy bien. Desafortunadamente, para algunas series de tiempo específicas, el resultado que...

Sé muy poco de probabilidad y estadística, y deseo aprender. Veo la palabra "distribución" utilizada en todo el lugar en diferentes contextos. Por ejemplo, una variable aleatoria discreta tiene una "distribución de probabilidad". Yo sé lo que es esto. Una variable aleatoria continua tiene una...

Suponga que tengo una función g(x)g(x)g(x) que deseo integrar ∫∞−∞g(x)dx.∫−∞∞g(x)dx. \int_{-\infty}^\infty g(x) dx. Por supuesto, suponiendo que g(x)g(x)g(x) va a cero en los puntos finales, sin ampliaciones, buena función. Una forma con la que he estado jugando es usar el algoritmo...

Actualmente estoy leyendo "Todas las estadísticas" de Larry Wasserman y estoy desconcertado por algo que escribió en el capítulo sobre la estimación de funciones estadísticas de modelos no paramétricos. El escribio "A veces podemos encontrar el error estándar estimado de una función...

Estoy tratando de usar Random Forest para predecir el resultado de un conjunto de datos extremadamente desequilibrado (la tasa de clase minoritaria es de solo 1% o incluso menos). Debido a que el algoritmo tradicional de bosque aleatorio minimiza la tasa de error general, en lugar de prestar...

Consideremos el problema de clasificar el conjunto de datos MNIST. Según la página web MNIST de Yann LeCun , 'Ciresan et al.' obtuvo una tasa de error del 0.23% en el conjunto de prueba MNIST usando la red neuronal convolucional. Denotemos el conjunto de entrenamiento MNIST como...

Nota: disculpas de antemano si esto es un duplicado, no encontré una q similar en mi búsqueda Digamos que tenemos un verdadero parámetro p. Un intervalo de confianza C (X) es un RV que contiene p, digamos el 95% del tiempo. Ahora supongamos que observamos X y calculamos C (X). La respuesta común...

Estoy siguiendo un tutorial aquí: http://www.r-bloggers.com/computing-and-visualizing-pca-in-r/ para obtener una mejor comprensión de PCA. El tutorial utiliza el conjunto de datos Iris y aplica una transformación de registro antes de PCA: Observe que en el siguiente código aplicamos una...

Así que he estado leyendo mucho sobre cómo interpretar correctamente un valor P, y de lo que he leído, el valor p no dice NADA sobre la probabilidad de que la hipótesis nula sea verdadera o falsa. Sin embargo, al leer la siguiente declaración: El valor p representa la probabilidad de cometer un...