Los 'datos grandes' se refieren a situaciones en las que el número de observaciones (puntos de datos) es tan grande que necesita cambios en la forma en que el analista de datos piensa o realiza el análisis. (No debe confundirse con 'alta dimensionalidad').
Si tengo datos positivos muy sesgados, a menudo tomo registros. Pero, ¿qué debo hacer con datos no negativos muy sesgados que incluyen ceros? He visto dos transformaciones utilizadas: log(x+1)log(x+1)\log(x+1) que tiene la característica ordenada que 0 se asigna a 0. log(x+c)log(x+c)\log(x+c)...
En un artículo reciente de Amstat News , los autores (Mark van der Laan y Sherri Rose) declararon que "Sabemos que para tamaños de muestra lo suficientemente grandes, cada estudio, incluidos aquellos en los que la hipótesis nula de ningún efecto es verdadera, declarará un efecto estadísticamente...
Muchos trabajos estadísticos requieren experiencia con datos a gran escala. ¿Cuáles son los tipos de habilidades estadísticas y computacionales que serían necesarias para trabajar con grandes conjuntos de datos? Por ejemplo, ¿qué tal construir modelos de regresión dado un conjunto de datos con 10...
Espero que el título se explique por sí mismo. En Kaggle, la mayoría de los ganadores usan el apilamiento con a veces cientos de modelos base, para exprimir un porcentaje adicional de MSE, precisión ... En general, según su experiencia, cuán importante es el modelado sofisticado, como el...
¿O más, "será"? Big Data hace que las estadísticas y el conocimiento relevante sean aún más importantes, pero parece minimizar la teoría de muestreo. He visto esta exageración sobre 'Big Data' y no puedo evitar preguntarme por qué "¿por qué" querría analizar todo ? ¿No había una razón para que la...
Estoy buscando un buen algoritmo (es decir, cómputo mínimo, requisitos mínimos de almacenamiento) para estimar la mediana de un conjunto de datos que es demasiado grande para almacenar, de modo que cada valor solo se pueda leer una vez (a menos que almacene explícitamente ese valor). No hay límites...
En varias ocasiones me han hecho la pregunta: ¿Qué es Big-Data? Tanto por los estudiantes como por mis familiares que están recogiendo el rumor sobre las estadísticas y el aprendizaje automático. Encontré esta publicación de CV . Y siento que estoy de acuerdo con la única respuesta allí. La...
"Big data" está en todas partes en los medios. Todos dicen que "big data" es lo más importante para 2012, por ejemplo, la encuesta de KDNuggets sobre temas candentes para 2012 . Sin embargo, tengo profundas preocupaciones aquí. Con Big Data, todo el mundo parece estar feliz de sacar algo . Pero,...
Hoy, en el Cross Validated Journal Club (¿por qué no estabas allí?), @Mbq preguntó: ¿Crees que nosotros (los científicos de datos modernos) sabemos lo que significa? ¿Y cómo se relaciona con nuestra confianza en nuestros resultados? @Michelle respondió como algunos (incluido yo) suelen...
¿Cuáles son los conjuntos de datos disponibles gratuitamente para la clasificación con más de 1000 características (o puntos de muestra si contiene curvas)? Ya existe un wiki comunitario sobre conjuntos de datos gratuitos: ubicación de muestras de datos disponibles gratuitamente Pero aquí, sería...
Estoy tratando de usar scikit-learn para la regresión polinómica. Por lo que leí, la regresión polinómica es un caso especial de regresión lineal. Esperaba que tal vez uno de los modelos lineales generalizados de scikit pueda parametrizarse para ajustarse a polinomios de orden superior, pero no veo...
Actualmente tengo que analizar aproximadamente 20 millones de registros y construir modelos de predicción. Hasta ahora he probado Statistica, SPSS, RapidMiner y R. Entre estos, Statistica parece ser el más adecuado para tratar la minería de datos y la interfaz de usuario de RapidMiner también es...
Últimamente he estado trabajando con grandes conjuntos de datos y encontré muchos documentos sobre métodos de transmisión. Para nombrar unos pocos: Follow-the-Regularized-Leader and Mirror Descent: Equivalence Theorems and L1 Regularization (
Tengo dos variables: Nombre del medicamento (DN) y los eventos adversos (AE) correspondientes, que están en una relación de muchos a muchos. Hay 33,556 nombres de medicamentos y 9,516 eventos adversos. El tamaño de la muestra es de aproximadamente 5,8 millones de observaciones. Quiero estudiar y...
Suponga que está analizando un gran conjunto de datos con miles de millones de observaciones por día, donde cada observación tiene un par de miles de variables numéricas y categoriales dispersas y posiblemente redundantes. Digamos que hay un problema de regresión, un problema de clasificación...
Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de...
Estoy pasando algo de tiempo aprendiendo machine learning (perdón por la recursividad :) y no pude evitar sentirme intrigada por la regla general de elegir Gradient Descent sobre la resolución de ecuaciones directas para calcular los coeficientes de regresión, en el caso de la regresión lineal...
He estado usando SAS profesionalmente durante casi 5 años. Lo tengo instalado en mi computadora portátil y con frecuencia tengo que analizar conjuntos de datos con 1,000-2,000 variables y cientos de miles de observaciones. He estado buscando alternativas a SAS que me permitan realizar análisis en...
Debido al factorial en una distribución de Poisson, resulta poco práctico estimar los modelos de Poisson (por ejemplo, utilizando la máxima probabilidad) cuando las observaciones son grandes. Entonces, por ejemplo, si estoy tratando de estimar un modelo para explicar el número de suicidios en un...
Tengo un pequeño problema que me está volviendo loco. Tengo que escribir el procedimiento para un proceso de adquisición en línea de una serie de tiempo multivariante. En cada intervalo de tiempo (por ejemplo, 1 segundo), obtengo una nueva muestra, que es básicamente un vector de coma flotante de...