Estoy trabajando con muchos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear y rbf), KNN, LDA y XGBoost. Todos ellos fueron bastante rápidos, excepto SVM. Fue entonces cuando llegué a saber que necesita una función de escala para funcionar más rápido. Entonces comencé a...
En un pequeño problema de clasificación de texto que estaba viendo, Naive Bayes ha estado exhibiendo un rendimiento similar o mayor que un SVM y estaba muy confundido. Me preguntaba qué factores deciden el triunfo de un algoritmo sobre el otro. ¿Hay situaciones en las que no tiene sentido usar...
Por lo que he visto, la fórmula de suavizado de Kneser-Ney (segundo orden) se da de una forma u otra como P2KN(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn)PKN2(wn|wn−1)=max{C(wn−1,wn)−D,0}∑w′C(wn−1,w′)+λ(wn−1)×Pcont(wn) \begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{...
Entonces, en el modelado de texto (sin supervisión), la asignación de Dirichlet latente (LDA) es una versión bayesiana del análisis semántico latente probabilístico (PLSA). Esencialmente, LDA = PLSA + Dirichlet antes de sus parámetros. Tengo entendido que LDA es ahora el algoritmo de referencia y...
Creo que una buena manera de recordar la fórmula es pensar en la fórmula de esta manera: La probabilidad de que algún evento A tenga un resultado particular dado un resultado independiente del evento B = la probabilidad de que ambos resultados ocurran simultáneamente / lo que digamos, la...
Estoy estudiando este Tutorial sobre Autoencoders Variacionales de Carl Doersch . En la segunda página dice: Uno de los marcos más populares es el Autoencoder Variacional [1, 3], el tema de este tutorial. Los supuestos de este modelo son débiles, y el entrenamiento es rápido a través de la...
Soy nuevo en Machine Learning. En este momento estoy usando un clasificador Naive Bayes (NB) para clasificar textos pequeños en 3 clases como positivos, negativos o neutros, usando NLTK y python. Después de realizar algunas pruebas, con un conjunto de datos compuesto por 300,000 instancias (16,924...
A mi entender (muy básico), Naive Bayes estima las probabilidades en función de las frecuencias de clase de cada característica en los datos de entrenamiento. Pero, ¿cómo calcula la frecuencia de las variables continuas? Y al hacer predicciones, ¿cómo clasifica una nueva observación que puede no...
Tengo que lidiar con un problema de clasificación de texto. Un rastreador web rastrea páginas web de un determinado dominio y para cada página web quiero saber si pertenece o no a una clase específica. Es decir, si llamo a esta clase Positiva , cada página web rastreada pertenece a la clase...
He leído sobre el truco log-sum-exp en muchos lugares (por ejemplo , aquí y aquí ) pero nunca he visto un ejemplo de cómo se aplica específicamente al clasificador Naive Bayes (por ejemplo, con características discretas y dos clases) ¿Cómo se evitaría exactamente el problema del desbordamiento...
¿Hay alguna manera de realizar la regresión de proceso gaussiana en la salida multidimensional (posiblemente correlacionada) usando GPML ? En el script de demostración solo pude encontrar un ejemplo de 1D. Una pregunta similar sobre CV que aborda el caso de entrada multidimensional. Revisé su...
El clasificador Naive Bayes es el clasificador que asigna elementos a una clase función de la maximización de la posterior para la pertenencia a clases, y supone que las características de los elementos son independientes.C P ( C | x )xxxCCCP(C|x)P(C|x)P(C|x) La pérdida 0-1 es la pérdida que...
No entiendo cómo se derivó esta ecuación. P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M1∩M2)≤P(I)P(I′)⋅P(M1|I)P(M2|I)P(M1|I′)P(M2|I′)P(I|M_{1}\cap M_{2}) \leq \frac{P(I)}{P(I')}\cdot \frac{P(M_{1}|I)P(M_{2}|I)}{P(M_{1}|I')P(M_{2}|I')} Esta ecuación fue del documento "Trial by...
¿Cuál es la relación entre el análisis discriminante lineal y la regla de Bayes? Entiendo que LDA se usa en la clasificación al tratar de minimizar la relación de la varianza dentro del grupo y entre la varianza del grupo, pero no sé cómo se usa la regla de Bayes en
Contexto: soy un programador con experiencia (medio olvidada) en estadísticas de cursos uni. Recientemente me topé con http://akinator.com y pasé un tiempo tratando de hacerlo fallar. ¿Y quién no? :) He decidido averiguar cómo podría funcionar. Después de buscar en Google y leer publicaciones de...
Hace poco leí sobre Bayes empírico (Casella, 1985, Introducción al análisis de datos empíricos de Bayes) y se parecía mucho al modelo de efectos aleatorios; en eso ambos tienen estimaciones reducidas a la media global. Pero no lo he leído completamente ... ¿Alguien tiene alguna idea sobre la...
Estoy leyendo sobre la inferencia bayesiana y me encontré con la frase "la integración numérica de la probabilidad marginal es demasiado costosa" No tengo experiencia en matemáticas y me preguntaba qué significa exactamente caro aquí. ¿Es solo en términos de potencia de cálculo o hay algo más?...
¿Consideraría que HBM vs EB son dos alternativas en las cuales los hiperparámetros están "en el juego" de ser muestreados / estimados / etc.? Claramente hay una conexión entre estos dos. ¿Consideraría que HBM es más "completamente bayesiano" que EB? ¿Hay algún lugar donde pueda ver cuáles son las...
¿Podemos interpretar la probabilidad posterior obtenida de un clasificador que genera un valor de clase predicho y una probabilidad (por ejemplo, regresión logística o Naive Bayes) como algún tipo de puntaje de confianza que se asigna a ese valor de clase
Estoy creando prototipos de mi propio modelo de bolsa de palabras Naive Bayes, y tenía una pregunta sobre el cálculo de las probabilidades de las características. Digamos que tengo dos clases, solo usaré spam y no spam ya que eso es lo que todos usan. Y tomemos la palabra "viagra" como ejemplo....