Adivinando un bajo valor de entropía en múltiples intentos

9

Supongamos que Alice tiene una distribución sobre un dominio finito (pero posiblemente muy grande), de modo que la entropía (Shannon) de μ está limitada por una constante arbitrariamente pequeña ε . Alice extrae un valor x de μ , y luego le pide a Bob (quién sabe μ ) que adivine x .μμεxμμx

¿Cuál es la probabilidad de éxito de Bob? Si solo se le permite una conjetura, entonces se puede reducir esta probabilidad de la siguiente manera: la entropía limita más que la entropía mínima, por lo que hay un elemento que tiene una probabilidad de al menos . Si Bob elige este elemento como su suposición, su probabilidad de éxito será 2 - ε .2ε2ε

Ahora, suponga que Bob tiene permitido hacer múltiples conjeturas, decir conjeturas, y Bob gana si una de sus conjeturas es correcta. ¿Existe un esquema de adivinanzas que mejore la probabilidad de éxito de Bob? En particular, ¿es posible demostrar que la probabilidad de falla de Bob disminuye exponencialmente con t ?tt

O meir
fuente

Respuestas:

10

La mejor apuesta de Bob es adivinar los valores con mayor probabilidad.t

Si está dispuesto a utilizar la entropía de Rényi en su lugar, la Proposición 17 en Entropías , adivinanzas y criptografía de Boztaş establece que la probabilidad de error después de adivina es como máximo 1 - 2 - H 2 ( μ ) ( 1 - log tt dondenes el tamaño del dominio. De acuerdo, la dependencia detes bastante mala, y tal vez Boztaş se centró en un régimen diferente de la entropía.

12H2(μ)(1logtlogn)ln2(1logtlogn)H2(μ),
nt

Para la entropía de Shannon, puede intentar resolver el problema de la optimización dual: dada una probabilidad de falla fija , encuentre la entropía máxima de dicha distribución. Usando la convexidad de - x log x , sabemos que la distribución μ tiene la forma a , b , ... , b ; b , , b , c , donde a b c , a + ( t - 1 ) b = 1 - δδxlogxμa,b,,b;b,,b,cabca+(t1)b=1δy . Tenemost-1+δc=δδbbvalores que obtienen probabilidadb. Condicionamiento ens=δt1+δbb, podemos intentar encontrarbque minimice la entropía. Para el valor correcto des, este será un punto interno (en el que la derivada desaparece). No estoy seguro de cómo obtener estimaciones asintóticas utilizando este enfoque.s=δbbs

Yuval Filmus
fuente
¡Gracias por la respuesta! Probé el enfoque de optimización que sugiere, pero no pude obtener buenas estimaciones.
O Meir el
Hola Yuval, después de un poco más de trabajo, parece que este enfoque de optimización proporciona la solución. Desafortunadamente, en este caso también, el error disminuye solo logarítmicamente inverso en el número de conjeturas. ¡Gracias!
O Meir el
7

XNN+H(X)1/2

Esta es parte de la razón por la cual la gente pasó a examinar las entropías de Renyi.

kodlu
fuente