Después de graduarme recientemente de mi programa de doctorado en estadística, durante los últimos meses comencé a buscar trabajo en el campo de la estadística. Casi todas las compañías que consideraba tenían un puesto de trabajo con un título de " Data Scientist ". De hecho, parecía que habían...
Tengo un marco de datos R como este: age group 1 23.0883 1 2 25.8344 1 3 29.4648 1 4 32.7858 2 5 33.6372 1 6 34.9350 1 7 35.2115 2 8 35.2115 2 9 35.2115 2 10 36.7803 1 ... Necesito obtener el marco de datos en la siguiente forma: group mean sd 1 34.5 5.6 2 32.3 4.2 ... El número de grupo...
Estoy usando Python Keras packagepara la red neuronal. Este es el enlace . ¿Es batch_sizeigual al número de muestras de prueba? De Wikipedia tenemos esta información: Sin embargo, en otros casos, evaluar el gradiente de suma puede requerir evaluaciones costosas de los gradientes de todas las...
Digamos que tengo algunos datos históricos, por ejemplo, precios de acciones anteriores, fluctuaciones de precios de pasajes aéreos, datos financieros anteriores de la empresa ... Ahora alguien (o alguna fórmula) aparece y dice "tomemos / usemos el registro de la distribución" y aquí es donde voy...
Estoy trabajando con un pequeño conjunto de datos (21 observaciones) y tengo el siguiente gráfico QQ normal en R: Al ver que la trama no admite la normalidad, ¿qué podría inferir sobre la distribución subyacente? Me parece que una distribución más sesgada a la derecha encajaría mejor, ¿no es...
Últimamente me he dado cuenta de que muchas personas están desarrollando equivalentes de tensor de muchos métodos (factorización de tensor, núcleos de tensor, tensores para modelar temas, etc.) Me pregunto, ¿por qué el mundo de repente está fascinado con los tensores? ¿Hay documentos recientes /...
Digamos que quiero estimar una gran cantidad de parámetros, y quiero penalizar algunos de ellos porque creo que deberían tener poco efecto en comparación con los demás. ¿Cómo decido qué esquema de penalización utilizar? ¿Cuándo es más apropiada la regresión de cresta? ¿Cuándo debo usar el...
Bueno, tenemos citas estadísticas favoritas. ¿Qué pasa con los chistes de
¿Estoy buscando una distribución de mejor comportamiento para la variable independiente en cuestión, o para reducir el efecto de los valores atípicos, o algo
Si tiene una variable que separa perfectamente ceros y unos en la variable objetivo, R generará el siguiente mensaje de advertencia de "separación perfecta o casi perfecta": Warning message: glm.fit: fitted probabilities numerically 0 or 1 occurred Todavía obtenemos el modelo, pero los...
Recientemente leí una publicación de R-Bloggers, que se vinculaba a esta publicación de blog de John Myles White sobre un nuevo lenguaje llamado Julia . Julia se aprovecha de un compilador justo a tiempo que le da tiempos de ejecución rápidos y malvados y lo pone en el mismo orden de magnitud de...
Hay mucha discusión en este foro sobre la forma correcta de especificar varios modelos jerárquicos utilizando lmer. Pensé que sería genial tener toda la información en un solo lugar. Un par de preguntas para comenzar: Cómo especificar múltiples niveles, donde un grupo está anidado dentro del...
Entiendo las diferencias formales entre ellos, lo que quiero saber es cuándo es más relevante usar uno frente al otro. ¿Proporcionan siempre información complementaria sobre el rendimiento de un determinado sistema de clasificación / detección? ¿Cuándo es razonable proporcionarlos a ambos, por...
Después de leer un conjunto de datos: dataset <- read.csv("forR.csv") ¿Cómo puedo hacer que R me dé la cantidad de casos que contiene? Además, ¿incluirá el valor devuelto los casos de exclusión omitidos con
Sé que generativo significa "basado en " y discriminativo significa "basado en ", pero estoy confundido en varios puntos:P(x,y)P(x,y)P(x,y)P(y|x)P(y|x)P(y|x) Wikipedia (+ muchos otros éxitos en la web) clasifican cosas como SVM y árboles de decisión como discriminatorias. Pero estos ni siquiera...
¿Cuáles son las principales diferencias entre realizar el análisis de componentes principales (PCA) en la matriz de correlación y en la matriz de covarianza? ¿Dan los mismos
En la página de Wikipedia sobre clasificadores ingenuos de Bayes , hay esta línea: p(height|male)=1.5789p(height|male)=1.5789p(\mathrm{height}|\mathrm{male}) = 1.5789 (Una distribución de probabilidad sobre 1 está bien. Es el área bajo la curva de campana que es igual a 1.) ¿Cómo puede un...
Me pregunto cómo elegir un modelo predictivo después de hacer la validación cruzada K-fold. Esto puede expresarse de manera incómoda, así que permítanme explicarlo con más detalle: cada vez que ejecuto la validación cruzada K-fold, uso K subconjuntos de los datos de entrenamiento y termino con K...
Estoy entrenando una red neuronal pero la pérdida de entrenamiento no disminuye. ¿Cómo puedo arreglar esto? No estoy preguntando sobre el sobreajuste o la regularización. Estoy preguntando cómo resolver el problema donde el rendimiento de mi red no mejora en el conjunto de entrenamiento . Esta...
Tengo un conjunto de datos que tiene datos continuos y categóricos. Estoy analizando utilizando PCA y me pregunto si está bien incluir las variables categóricas como parte del análisis. Entiendo que PCA solo se puede aplicar a variables continuas. ¿Es eso correcto? Si no se puede utilizar para...