Estadísticas y Big Data

En pocas palabras , cuanto más aprendo sobre estadísticas, menos confío en los trabajos publicados en mi campo; Simplemente creo que los investigadores no están haciendo sus estadísticas lo suficientemente bien. Soy un laico, por así decirlo. Estoy entrenado en biología pero no tengo educación...

En el aprendizaje estadístico, implícita o explícitamente, siempre se supone que el conjunto de entrenamiento D={X,y}D={X,y}\mathcal{D} = \{ \bf {X}, \bf{y} \} está compuesto de NNN tuplas de entrada / respuesta (Xi,yi)(Xi,yi)({\bf{X}}_i,y_i) que se extraen independientemente de la misma...

He leído mucho sobre PCA, incluidos varios tutoriales y preguntas (como este , este , este y este ). El problema geométrico que PCA está tratando de optimizar es claro para mí: PCA trata de encontrar el primer componente principal minimizando el error de reconstrucción (proyección), que maximiza...

En muchos tutoriales o manuales, la narrativa parece implicar que R y python coexisten como componentes complementarios del proceso de análisis. Para mi ojo inexperto, sin embargo, parece que ambos idiomas hacen lo mismo. Entonces, mi pregunta es si realmente hay nichos especializados para los dos...

Esta publicación es la continuación de otra publicación relacionada con un método genérico para la detección de valores atípicos en series de tiempo . Básicamente, en este punto estoy interesado en una forma sólida de descubrir la periodicidad / estacionalidad de una serie temporal genérica...

Imagine el siguiente diseño común: 100 participantes son asignados aleatoriamente a un grupo de tratamiento o control la variable dependiente es numérica y medida antes y después del tratamiento Tres opciones obvias para analizar tales datos son: Probar el efecto de interacción grupal por...

¿Cuáles son los estadísticos más importantes y qué los hizo famosos? (Responda solo un científico por respuesta, por

Estoy analizando algunos datos en los que me gustaría realizar una regresión lineal ordinaria, sin embargo, esto no es posible ya que estoy tratando con una configuración en línea con un flujo continuo de datos de entrada (que rápidamente será demasiado grande para la memoria) y necesito para...

Estoy considerando usar bibliotecas de Python para hacer mis experimentos de Machine Learning. Hasta ahora, había estado confiando en WEKA, pero en general he estado bastante insatisfecho. Esto se debe principalmente a que he encontrado que WEKA no está tan bien respaldado (muy pocos ejemplos, la...

EDITAR: La vista de tareas CRAN de Servicios y tecnologías web contiene una lista mucho más completa de fuentes de datos y API disponibles en R. Puede enviar una solicitud de extracción en github si desea agregar un paquete a la vista de tareas. Estoy haciendo una lista de los diversos feeds de...

Quiero medir la entropía / densidad de información / similitud de patrón de una matriz binaria bidimensional. Déjame mostrarte algunas fotos para aclarar: Esta pantalla debería tener una entropía bastante alta: UNA) Esto debería tener una entropía media: SI) Estas imágenes, finalmente,...

¿Existe una transformación similar a Box-Cox para variables independientes? Es decir, ¿una transformación que optimice la variable para que se ajuste más razonablemente a un modelo lineal?Xxxy~f(x) Si es así, ¿hay una función para realizar esto

Lo siento si esto parece demasiado básico, pero supongo que solo estoy buscando confirmar la comprensión aquí. Tengo la sensación de que tendría que hacer esto en dos pasos, y he comenzado a tratar de asimilar las matrices de correlación, pero está empezando a parecer realmente complicado. Estoy...

¿Qué significa tener "varianza constante" en el término de error? A mi entender, tenemos datos con una variable dependiente y una variable independiente. La varianza constante es uno de los supuestos de la regresión lineal. Me pregunto qué significa la homocedasticidad. Dado que incluso si tengo...

Dadas todas las buenas propiedades de los modelos de espacio de estado y KF, me pregunto: ¿cuáles son las desventajas del modelado de espacio de estado y el uso del filtro de Kalman (o EKF, UKF o filtro de partículas) para la estimación? Supongamos, por ejemplo, metodologías convencionales como...

Entiendo cómo artificial neural network (ANN)se puede entrenar de forma supervisada usando la propagación hacia atrás para mejorar el ajuste al disminuir el error en las predicciones. He oído que un ANN se puede utilizar para el aprendizaje no supervisado, pero ¿cómo se puede hacer sin una función...

En la mayoría de los códigos de Tensorflow, he visto que Adam Optimizer se usa con una tasa de aprendizaje constante de 1e-4(es decir, 0,0001). El código generalmente tiene el siguiente aspecto: ...build the model... # Add the optimizer train_op =

Ya teníamos varias preguntas sobre datos desequilibrados al usar regresión logística , SVM , árboles de decisión , embolsado y una serie de otras preguntas similares, ¡lo que lo convierte en un tema muy popular! Desafortunadamente, cada una de las preguntas parece ser específica del algoritmo y no...

Muchos estudios en ciencias sociales usan escalas Likert. ¿Cuándo es apropiado usar los datos de Likert como ordinales y cuándo es apropiado usarlos como datos de

Supongamos que tengo tres poblaciones con cuatro características mutuamente excluyentes. Tomo muestras aleatorias de cada población y construyo una tabla cruzada o tabla de frecuencias para las características que estoy midiendo. ¿Estoy en lo cierto al decir que: Si quisiera probar si existe...