Implementación de Naive Bayes

Estoy implementando un algoritmo Naive Bayes para la categorización de texto con suavizado laplaciano. El problema que tengo es que la probabilidad se acerca a cero porque estoy multiplicando muchas fracciones pequeñas. Por lo tanto, la probabilidad finalmente produce cero. Esto se debe a que hay varias palabras dentro de los documentos y conjuntos de capacitación.

Debido a esto, no puedo categorizar los textos. ¿Hay alguna forma de evitar este problema? ¿Estoy haciendo algo mal en mi implementación?

machine-learning natural-language-processing floating-point numerical-algorithms sam
fuente

... Podría evitar la aritmética de coma flotante.

msdn.microsoft.com/en-us/magazine/jj891056.aspx Encuentra una respuesta fácil aquí.

Roshan Mehta

Respuestas:

\log \prod_{i = 1}^{n} p_{i} = \sum_{i = 1}^{n} \log p_{i} .

$\log \prod_{i=1}^n p_i = \sum_{i=1}^n \log p_i.$

$p$ $p_0 \in [1,2)$ $x$ $p = p_0 2^x$

Yuval Filmus
fuente

También es útil tener en cuenta el truco logsumexp en este contexto: en.wikipedia.org/wiki/LogSumExp

Bitwise