Estoy buscando hacer una clasificación en mis datos de texto. Tengo 300 classes200 documentos de capacitación por clase (más o menos 60000 documents in total) y es probable que esto genere datos dimensionales muy altos (es posible que estemos buscando más de 1 millón de dimensiones ). Me gustaría...
Planeo hacer un estudio de simulación donde comparo el desempeño de varias técnicas de correlación robustas con diferentes distribuciones (sesgadas, con valores atípicos, etc.). Con robusto , me refiero al caso ideal de ser robusto contra a) distribuciones sesgadas, b) valores atípicos yc) colas...
¿Es "margen de error" lo mismo que "error estándar"? ¡Un ejemplo (simple) para ilustrar la diferencia sería
Tengo dos preguntas sobre los intervalos de confianza: Aparentemente, un intervalo de confianza estrecho implica que hay una menor posibilidad de obtener una observación dentro de ese intervalo, por lo tanto, nuestra precisión es mayor. Además, un intervalo de confianza del 95% es más estrecho...
Realicé con R y ANOVA y obtuve diferencias significativas. Sin embargo, al verificar qué pares eran significativamente diferentes usando el procedimiento de Tukey, no obtuve ninguno de ellos. como puede ser esto posible? Aquí está el código: fit5_snow<- lm(Response ~ Stimulus,...
Considere una caminata aleatoria entera que comienza en 0 con las siguientes condiciones: El primer paso es más o menos 1, con igual probabilidad. Cada paso futuro es: 60% de probabilidades de estar en la misma dirección que el paso anterior, 40% de probabilidades de estar en la dirección...
Durante un experimento para la clasificación de texto, encontré que el clasificador de cresta genera resultados que constantemente superan las pruebas entre los clasificadores que se mencionan y aplican con mayor frecuencia para las tareas de minería de texto, como SVM, NB, kNN, etc. Sin embargo,...
Estoy confundido acerca de cómo calcular la perplejidad de una muestra reservada cuando se realiza la Asignación de Dirichlet Latente (LDA). Los documentos sobre el tema brillan sobre él, haciéndome pensar que me falta algo obvio ... La perplejidad se ve como una buena medida de rendimiento para...
Estoy sufriendo un apagón. Se me presentó la siguiente imagen para mostrar el equilibrio de sesgo-varianza en el contexto de la regresión lineal: Puedo ver que ninguno de los dos modelos encaja bien: el "simple" no aprecia la complejidad de la relación XY y el "complejo" simplemente se...
Después de un reciente voto negativo, he estado tratando de verificar mi comprensión de la prueba de Pearson Chi Squared. Usualmente uso la estadística de chi cuadrado (o estadística de chi cuadrado reducido) para ajustar o verificar el ajuste resultante. En este caso, la varianza no suele ser el...
Tengo la siguiente función de probabilidad: Prob = 11 + e- zProblema=11+mi-z\text{Prob} = \frac{1}{1 + e^{-z}} dónde z= B0 0+ B1X1+ ⋯ + BnorteXnorte.z=si0 0+si1X1+⋯+sinorteXnorte.z = B_0 + B_1X_1 + \dots + B_nX_n. Mi modelo se parece Pr ( Y= 1 ) = 11 + exp( - [ - 3.92 + 0.014 × ( género ) ]...
Sé que el SVM es un clasificador binario. Me gustaría extenderlo a SVM multiclase. ¿Cuál es la mejor y quizás la forma más fácil de realizarlo? código: en MATLAB u=unique(TrainLabel); N=length(u); if(N>2) itr=1; classes=0; while((classes~=1)&&(itr<=length(u)))...
Hay palabras de "Los elementos del aprendizaje estadístico" en la página 91: Los centroides K en el espacio de entrada p-dimensional abarcan en la mayoría del subespacio dimensional K-1, y si p es mucho más grande que K, esto será una caída considerable en la dimensión. Tengo dos...
Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión
¿Alguien puede explicarme las ventajas y desventajas de la clasificación SVM que la distingue de otros
La impresión que obtuve, en base a varios documentos, libros y artículos que he leído, es que la forma recomendada de ajustar una distribución de probabilidad en un conjunto de datos es mediante el uso de la estimación de máxima verosimilitud (MLE). Sin embargo, como físico, una forma más intuitiva...
Dos preguntas relacionadas de mi parte. Tengo un marco de datos que contiene números de pacientes en una columna (rango 10-17 pacientes) y 0s y 1s que muestran si ocurrió un incidente ese día. Estoy usando un modelo binomial para hacer retroceder la probabilidad de incidente en el número de...
Tengo alguna variable distribuida no gaussiana y necesito verificar si hay diferencias significativas entre los valores de esta variable en 5 grupos diferentes. He realizado un análisis de varianza unidireccional de Kruskal-Wallis (que resultó significativo) y luego tuve que verificar qué grupos...
Estoy trabajando en una aplicación de encuesta de salud abierta, planeada para ser utilizada en países en desarrollo. La idea básica es que las entrevistas de la encuesta son de crowdsourcing : son realizadas por voluntarios no organizados que envían datos de formularios de las entrevistas que...
Aprendí que la suma de las variables aleatorias exponenciales sigue la distribución Gamma. Pero en todas partes que leo la parametrización es diferente. Por ejemplo, Wiki describe la relación, pero no dice qué significan realmente sus parámetros. Forma, escala, tasa, 1 / tasa? Distribución...