Quiero intentar usar Support Vector Machines (SVM) en mi conjunto de datos. Sin embargo, antes de intentar el problema, me advirtieron que los SVM no funcionan bien en datos extremadamente desequilibrados. En mi caso, puedo tener tanto como 95-98% 0's y 2-5% 1's. Traté de encontrar recursos que...
Estoy leyendo un artículo científico sobre clasificación de imágenes. En los resultados experimentales hablan de la precisión top-1 y top-5, pero nunca he oído hablar del término, ni puedo encontrarlo usando google. ¿Alguien puede darme una definición o señalarme a algún lado?...
He oído que la regresión de cresta se puede derivar como la media de una distribución posterior, si la anterior se elige adecuadamente. ¿Es la intuición de que las restricciones establecidas en los coeficientes de regresión por el anterior (por ejemplo, distribuciones normales estándar alrededor de...
En el análisis de conglomerados, ¿cómo calculamos la pureza? ¿Cuál es la ecuación? No estoy buscando un código para hacerlo por mí. Deje ωkωk\omega_k ser clúster k, y cjcjc_j sea clase j. Entonces, ¿la pureza es prácticamente precisión? parece que estaban sumando la cantidad de clase...
Estoy trabajando en la medida de importancia de la característica Gini para bosque aleatorio. Por lo tanto, necesito calcular la disminución de Gini en la impureza del nodo. Esta es la forma en que lo hago, lo que conduce a un conflicto con la definición, lo que sugiere que debo estar equivocado en...
¿Existe algún tesauro de referencia para estadísticas y términos de aprendizaje automático? Sé que los artículos de Wikipedia a menudo contienen sinónimos, pero me gustaría tener un simple diccionario de sinónimos que podría revisar fácilmente (en lugar de una enciclopedia completa) para asegurarme...
Tengo un conjunto de datos con unos pocos millones de filas y ~ 100 columnas. Me gustaría detectar aproximadamente el 1% de los ejemplos en el conjunto de datos, que pertenecen a una clase común. Tengo una restricción de precisión mínima, pero debido al costo muy asimétrico, no estoy muy interesado...
Estoy usando KL divergencia como una medida de disimilitud entre 2 y .P Qp.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right)
Si tengo un sistema de clasificación por estrellas donde los usuarios pueden expresar su preferencia por un producto o artículo, ¿cómo puedo detectar estadísticamente si los votos están altamente "divididos"? Es decir, incluso si el promedio es 3 de 5, para un producto dado, ¿cómo puedo detectar si...
Estoy tratando de hacer una regresión en los datos heteroscedasticos donde trato de predecir las varianzas de error, así como los valores medios en términos de un modelo lineal. Algo como
Tengo un problema con la normalidad de algunos datos que tengo: hice una prueba de Kolmogorov que dice que no es normal con p = .0000, no entiendo: el sesgo de mi distribución = -. 497, y la curtosis = -0,024 Aquí está la trama de mi distribución que se ve muy normal ... (Tengo tres puntajes, y...
¿Cuál es la diferencia entre un clasificador, modelo y estimador? Por lo que puedo decir: un estimador es un predictor encontrado del algoritmo de regresión un clasificador es un predictor encontrado de un algoritmo de clasificación un modelo puede ser tanto un estimador como un...
¿Es significativo y posible realizar una prueba KS de una cola? ¿Cuál sería la hipótesis nula de tal prueba? ¿O la prueba KS es inherentemente una prueba de dos colas? Me beneficiaría una respuesta que me ayudara a comprender la distribución de D (estoy trabajando en el artículo de 1951 de Massey,...
Estoy tratando de entender los modelos de factorización matricial para sistemas de recomendación y siempre leo 'características latentes', pero ¿qué significa eso? Sé lo que significa una característica para un conjunto de datos de entrenamiento, pero no puedo entender la idea de las...
Estoy tratando de ver si elegir la regresión de cresta , LASSO , la regresión de componentes principales (PCR) o los mínimos cuadrados parciales (PLS) en una situación en la que hay un gran número de variables / características ( ) y un menor número de muestras ( ), y mi objetivo es la...
Tengo dos conjuntos de datos y me gustaría saber si son significativamente diferentes o no (esto proviene de "¿ Dos grupos son significativamente diferentes? Prueba de uso "). Decidí usar una prueba de permutación, haciendo lo siguiente en R: permutation.test <- function(coding, lncrna) {...
Pregunta original (25/7/14): ¿Tiene sentido esta cita de los medios de comunicación o hay una mejor manera estadística de ver la avalancha de accidentes aéreos recientes? Sin embargo, Barnett también llama la atención sobre la teoría de la distribución de Poisson, lo que implica que los...
Tengo muestras de un conjunto de datos muy sesgado (que parece una distribución exponencial) sobre la participación de los usuarios (por ejemplo, número de publicaciones), que tienen diferentes tamaños (pero no menos de 200) y quiero comparar su media. Para eso, estoy usando pruebas t no...
Tengo dos variables: X e Y, y necesito hacer que el clúster sea máximo (y óptimo) = 5. La gráfica ideal de variables es la siguiente: Me gustaría hacer 5 grupos de esto. Algo como esto: Por lo tanto, creo que este es un modelo de mezcla con 5 grupos. Cada grupo tiene un punto central y un...
Dada una matriz , la factorización de matriz no negativa (NMF) encuentra dos matrices no negativas W m × k y H k × n (es decir, con todos los elementos ≥ 0 ) para representar la matriz descompuesta como:Vm×nVm×n\mathbf V^{m \times n}Wm×kWm×k\mathbf W^{m \times k}Hk×nHk×n\mathbf H^{k \times...