Supongamos que Alice tiene una distribución sobre un dominio finito (pero posiblemente muy grande), de modo que la entropía (Shannon) de μ está limitada por una constante arbitrariamente pequeña ε . Alice extrae un valor x de μ , y luego le pide a Bob (quién sabe μ ) que adivine x .
¿Cuál es la probabilidad de éxito de Bob? Si solo se le permite una conjetura, entonces se puede reducir esta probabilidad de la siguiente manera: la entropía limita más que la entropía mínima, por lo que hay un elemento que tiene una probabilidad de al menos . Si Bob elige este elemento como su suposición, su probabilidad de éxito será 2 - ε .
Ahora, suponga que Bob tiene permitido hacer múltiples conjeturas, decir conjeturas, y Bob gana si una de sus conjeturas es correcta. ¿Existe un esquema de adivinanzas que mejore la probabilidad de éxito de Bob? En particular, ¿es posible demostrar que la probabilidad de falla de Bob disminuye exponencialmente con t ?
Esta es parte de la razón por la cual la gente pasó a examinar las entropías de Renyi.
fuente