Me encontré con el término perplejidad que se refiere a la probabilidad inversa promediada logarítmica en datos no vistos. El artículo de Wikipedia sobre perplejidad no da un significado intuitivo para lo mismo.

Esta medida de perplejidad se utilizó en pLSA papel .

¿Alguien puede explicar la necesidad y el significado intuitivo de la medida de perplejidad ?

Has mirado el artículo de Wikipedia sobre perplejidad . Da la perplejidad de una distribución discreta como

$$2^{-\sum_x p(x)\log_2 p(x)}$$

que también podría escribirse como

$$\exp\left({\sum_x p(x)\log_e \frac{1}{p(x)}}\right)$$

es decir, como un promedio geométrico ponderado de las inversas de las probabilidades. Para una distribución continua, la suma se convertiría en una integral.

El artículo también ofrece una forma de estimar la perplejidad de un modelo utilizando piezas de datos de prueba.$N$

$$2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}$$

que también podría escribirse

$$\exp\left(\frac{{\sum_{i=1}^N \log_e \left(\dfrac{1}{q(x_i)}\right)}}{N}\right) \text{ or } \sqrt[N]{\prod_{i=1}^N \frac{1}{q(x_i)}}$$

o en una variedad de otras formas, y esto debería aclarar aún más de dónde proviene la "probabilidad inversa promedio logarítmica".

Encontré esto bastante intuitivo:

La perplejidad de lo que sea que esté evaluando, en los datos en los que lo está evaluando, de alguna manera le dice "esto es lo correcto con la frecuencia con la que estaría un dado del lado x".

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

Me he preguntado esto también. La primera explicación no es mala, pero aquí están mis 2 nats para lo que sea que valga la pena.

---

En primer lugar, la perplejidad no tiene nada que ver con caracterizar con qué frecuencia adivina algo bien. Tiene más que ver con caracterizar la complejidad de una secuencia estocástica.

Estamos viendo una cantidad,

$$2^{-\sum_x p(x)\log_2 p(x)}$$

Primero cancelemos el registro y la exponenciación.

$$2^{-\sum_{x} p(x)\log_2 p(x)}=\frac{1}{\prod_{x} p(x)^{p(x)}}$$

Creo que vale la pena señalar que la perplejidad es invariable con la base que usas para definir la entropía. Entonces, en este sentido, la perplejidad es infinitamente más única / menos arbitraria que la entropía como medida.

Relación con los dados

Juguemos un poco con esto. Digamos que solo estás mirando una moneda. Cuando la moneda es justa, la entropía es máxima y la perplejidad es máxima de

$$\frac{1}{\frac{1}{2}^\frac{1}{2}\times\frac{1}{2}^\frac{1}{2}}=2$$

Ahora, ¿qué pasa cuando miramos un dado de $N$ lados? La perplejidad es

$$\frac{1}{\left(\frac{1}{N}^\frac{1}{N}\right)^N}=N$$

Entonces, la perplejidad representa el número de lados de un dado justo que, cuando se tira, produce una secuencia con la misma entropía que la distribución de probabilidad dada.

Numero de Estados

$N$$N+1$$N$$\epsilon$$N$$N + 1$$\epsilon$$N$$x$$p_x$$N$

$$p^\prime_x=p_x\left(1-\epsilon\right)$$

$$\frac{1}{\epsilon^\epsilon\prod_x^N {p^\prime_x}^{p^\prime_x}}=\frac{1}{\epsilon^\epsilon\prod_x^N {\left(p_x\left(1-\epsilon\right)\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon\prod_x^N p_x^{p_x\left(1-\epsilon\right)} {\left(1-\epsilon\right)}^{p_x\left(1-\epsilon\right)}} = \frac{1}{\epsilon^\epsilon{\left(1-\epsilon\right)}^{\left(1-\epsilon\right)}\prod_x^N p_x^{p_x\left(1-\epsilon\right)}}$$

In the limit as $\epsilon\rightarrow 0$, this quantity approaches

$$\frac{1}{\prod_x^N {p_x}^{p_x}}$$

So as you make make rolling one side of the die increasingly unlikely, the perplexity ends up looking as though the side doesn't exist.

There is actually a clear connection between perplexity and the odds of correctly guessing a value from a distribution, given by Cover's Elements of Information Theory 2ed (2.146): If $X$ and $X'$ are iid variables, then

$P(X=X') \ge 2^{-H(X)} = \frac{1}{2^{H(X)}} = \frac{1}{\text{perplexity}}$ (1)

To explain, perplexity of a uniform distribution X is just |X|, the number of elements. If we try to guess the values that iid samples from a uniform distribution X will take by simply making iid guesses from X, we will be correct 1/|X|=1/perplexity of the time. Since the uniform distribution is the hardest to guess values from, we can use 1/perplexity as a lower bound / heuristic approximation for how often our guesses will be right.