Recientemente hice un análisis de los efectos de la reputación en los votos a favor (ver la publicación del blog ), y posteriormente tuve algunas preguntas sobre análisis y gráficos posiblemente más esclarecedores (o más apropiados). Entonces, algunas preguntas (y siéntase libre de responder a...
Estoy trabajando en un proyecto que involucra 14 variables y 345,000 observaciones para datos de vivienda (cosas como año de construcción, pies cuadrados, precio de venta, condado de residencia, etc.). Me preocupa tratar de encontrar buenas técnicas gráficas y bibliotecas R que contengan buenas...
Mi pregunta podría reformularse como "cómo evaluar un error de muestreo utilizando grandes datos", especialmente para una publicación de revista. Aquí hay un ejemplo para ilustrar un desafío. De un conjunto de datos muy grande (> 100000 pacientes únicos y sus medicamentos recetados de 100...
Tradicionalmente utilizamos modelos mixtos para modelar datos longitudinales, es decir, datos como: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 podemos suponer intercepción aleatoria o pendiente para diferentes personas. Sin embargo, la...
Digamos que nuestro conjunto de datos contiene 1 millón de ejemplos, es decir, , y deseamos utilizar el descenso de gradiente para realizar una regresión logística o lineal en este conjunto de datos.X1, ... , x106 6x1,…,x106x_1, \ldots, x_{10^6} ¿Qué pasa con el método de descenso de gradiente que...
Con el conocimiento limitado que tengo sobre SVM, es bueno para una matriz de datos corta y gruesa (muchas características, y no demasiadas instancias), pero no para grandes datos.XXX Entiendo que una razón es que Kernel Matrix es una matriz donde, es el número de instancias en los datos. Si...
Soy nuevo en ciencia de datos y tengo problemas para encontrar clústeres en un conjunto de datos con 200,000 filas y 50 columnas en R. Dado que los datos tienen variables tanto numéricas como nominales, los métodos como K-means que usa la medida de distancia euclidiana no parecen ser una opción...
Estoy trabajando en un problema de regresión lineal muy grande, con un tamaño de datos tan grande que deben almacenarse en un grupo de máquinas. Será demasiado grande para agregar todas las muestras en la memoria de una sola máquina (incluso el disco) Para hacer la regresión de estos datos, estoy...
Estoy examinando una parte de mi conjunto de datos que contiene 46840 valores dobles que van del 1 al 1690 agrupados en dos grupos. Para analizar las diferencias entre estos grupos, comencé examinando la distribución de los valores para elegir la prueba correcta. Siguiendo una guía sobre las...
Recopilo muestras muy grandes (> 1,000,000) de datos categóricos cada día y quiero ver que los datos se vean "significativamente" diferentes entre días para detectar errores en la recopilación de datos. Pensé que usar una prueba de buen ajuste (en particular, una prueba G) sería un buen ajuste...
Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <-...
¿Cómo se realizan las pruebas de hipótesis con Big Data? Escribí el siguiente script de MATLAB para enfatizar mi confusión. Todo lo que hace es generar dos series aleatorias y ejecutar una regresión lineal simple de una variable sobre la otra. Realiza esta regresión varias veces utilizando...
Estoy buscando un modelo entre los precios de las acciones de energía y el clima. Tengo el precio del MWatt comprado entre los países de Europa y muchos valores sobre el clima (archivos Grib). Cada hora en un período de 5 años (2011-2015). Precio / dia Esto es por día durante un año. Tengo esto...
Soy un novato en R que está obligado a hacer varios tipos de análisis en grandes conjuntos de datos en R. Entonces, al mirar este sitio y en otros lugares, me pareció que hay muchos problemas esotéricos y menos conocidos involucrados aquí, como qué paquete usar cuándo, qué transformaciones se...
A menudo trato con una cantidad razonable de datos de series de tiempo, 50-200 millones de dobles con sellos de tiempo asociados y me gustaría visualizarlos dinámicamente. ¿Existe software para hacer esto de manera efectiva? ¿Qué hay de las bibliotecas y los formatos de datos? Zoom-cache es un...
Solo quería ver si alguien tiene alguna experiencia aplicando la regresión de procesos gaussiana (GPR) a conjuntos de datos de alta dimensión. Estoy investigando algunos de los diversos métodos GPR dispersos (por ejemplo, pseudo-entradas GPR dispersas) para ver qué podría funcionar para conjuntos...
¿Tiene sentido calcular intervalos de confianza y probar hipótesis cuando hay datos disponibles de toda la población? En mi opinión, la respuesta es no, ya que podemos calcular con precisión los valores verdaderos de los parámetros. Pero entonces, ¿cuál es la proporción máxima de datos de la...
Básicamente, hay dos formas comunes de aprender contra grandes conjuntos de datos (cuando te enfrentas a restricciones de tiempo / espacio): Hacer trampa :): use solo un subconjunto "manejable" para el entrenamiento. La pérdida de precisión puede ser insignificante debido a la ley de rendimientos...
Para formular mejor mi pregunta, he proporcionado algunos de los resultados de un modelo de 16 variables ( fit) y un modelo de 17 variables ( fit2) a continuación (todas las variables predictoras en estos modelos son continuas, donde la única diferencia entre estos modelos es que fitno contiene la...
Tengo acceso a un conjunto de datos muy grande. Los datos provienen de grabaciones MEG de personas que escuchan extractos musicales, de uno de los cuatro géneros. Los datos son los siguientes: 6 sujetos 3 repeticiones experimentales (épocas) 120 ensayos por época 8 segundos de datos por prueba a...