Preguntas en teoría de la información
¿Cuáles son sus ejemplos favoritos donde la teoría de la información se usa para probar una declaración combinatoria ordenada de una manera simple? Algunos ejemplos que se me ocurren se relacionan con los límites para disminuir localmente códigos descifrables, por ejemplo, en este documento:...
Hablando informalmente, la complejidad de Kolmogorov de una cadena es la longitud de un programa más corto que genera x . Podemos definir una noción de 'cadena aleatoria' usándola ( x es aleatoria si K ( x ) ≥ 0.99 | x | ) Es fácil ver que la mayoría de las cadenas son aleatorias (no hay tantos...
Esta pregunta se le hizo a Jeannette Wing después de su presentación PCAST sobre informática. “Desde una perspectiva física, ¿hay un volumen máximo de información que podamos tener?” (Una buena pregunta desafiante para la comunidad teórica de la informática ya que creo que plantea la pregunta...
La complejidad del prefijo de Kolmogorov (es decir, K(x)K(x)K(x) es el tamaño del programa mínimo de auto delimitación que genera xxx ) tiene varias características agradables: Corresponde a una intuición de dar cadenas con patrones o estructura de menor complejidad que las cadenas sin ellas. Que...
Estoy buscando códigos de corrección de errores del siguiente tipo: códigos binarios con tasa constante, decodificable a partir de una fracción constante de errores, por un decodificador implementable como un circuito booleano de tamaño , donde es la longitud de codificación.O (...
El código de Huffman para una distribución de probabilidad ppp es el código de prefijo con la longitud de palabra de código promedio ponderada mínima ∑piℓi∑piℓi\sum p_i \ell_i , donde ℓiℓi\ell_i es la longitud de la iii ésima palabra de código. Es un teorema bien conocido que la longitud promedio...
En la teoría de la información cuántica, la distancia entre dos canales cuánticos a menudo se mide utilizando la norma del diamante. También hay varias formas de medir la distancia entre dos estados cuánticos, como la distancia de rastreo, la fidelidad, etc. El isomorfismo de Jamiołkowski...
La complejidad de la información ha sido una herramienta muy útil en la complejidad de la comunicación, utilizada principalmente para reducir la complejidad de la comunicación de los problemas distribuidos. ¿Existe un análogo de la complejidad de la información para la complejidad de la consulta?...
Al implementar un filtro Bloom, el enfoque tradicional requiere múltiples funciones hash independientes. Kirsch y Mitzenmacher demostraron que en realidad solo necesitas dos, y puedes generar el resto como combinaciones lineales de los mismos. Mi pregunta es: ¿cuál es realmente la diferencia entre...
Últimamente he estado tratando con algoritmos relacionados con la compresión, y me preguntaba cuál es la mejor relación de compresión que puede lograrse mediante la compresión de datos sin pérdida. Hasta ahora, la única fuente que pude encontrar sobre este tema fue Wikipedia: La compresión sin...
La mayoría de nosotros estamos familiarizados, o al menos hemos oído hablar, de la entropía de Shannon de una variable aleatoria, H(X)=−E[logp(X)]H(X)=-mi[Iniciar sesiónpag(X)]H(X) = -\mathbb{E} \bigl[ \log p(X)\bigr] , y todas las medidas teóricas relacionadas con la información, como la entropía...
Lema: Suponiendo equivalencia eta tenemos eso (\x -> ⊥) = ⊥ :: A -> B. Prueba: ⊥ = (\x -> ⊥ x)por equivalencia eta y (\x -> ⊥ x) = (\x -> ⊥)por reducción bajo la lambda. El informe Haskell 2010, sección 6.2 especifica la seqfunción mediante dos ecuaciones: seq :: a -> b ->...
El popular algoritmo DEFLATE utiliza la codificación Huffman sobre Lempel-Ziv. En general, si tenemos una fuente de datos aleatoria (= entropía de 1 bit / bit) , es probable que ninguna codificación, incluida Huffman, la comprima en promedio. Si Lempel-Ziv fuera "perfecto" (que se acerca a la...
Por lo general, la entropía de Shannon se usa para probar los resultados de la codificación del canal. Incluso para los resultados de separación del canal fuente se utiliza la entropía de shannon. Dada la equivalencia entre las nociones de información de Shannon (global) frente a Kolmogorov...
Hay investigadores que muestran que el bit de borrado tiene que consumir energía, ¿hay alguna investigación sobre el consumo promedio de energía del algoritmo con complejidad computacional ? Supongo que la complejidad computacional está correlacionada con el consumo promedio de energía, espero...
Estoy en busca de una cota en la entropía de la suma de dos variables aleatorias discretas independientes X y Y . Naturalmente, H ( X + Y ) ≤ H ( X ) + H ( Y ) ( ∗ ) Sin embargo, aplicado a la suma de n variables aleatorias independientes de Bernoulli Z 1 , ... , Z n , esto da H ( Z 1 +H( X+...
Digamos que tenemos una función f:Zn2→Rf:Z2n→Rf:\mathbb{Z}_2^n \to \mathbb{R} , de modo que ∑x∈Zn2f(x)2=1∑x∈Z2nf(x)2=1\sum _{x\in \mathbb{Z}_2^n} f(x)^2 = 1 (por lo que podemos pensar en como una distribución). Es natural definir la entropía de dicha función de la siguiente...
Trabajo en un laboratorio de neurociencia computacional que cuantifica la información mutua entre pares o grupos de neuronas. Recientemente, el jefe cambió su enfoque para medir la "complejidad de la dinámica neuronal". Al seguir esa línea de investigación, algunas personas en mi grupo parecen...
Dado un estado cuántico elegido uniformemente al azar de un conjunto de N estados mixtos ρ 1 . . . ρ N , ¿cuál es la probabilidad promedio máxima de identificar correctamente A ?ρAρA\rho_ANNNρ1...ρNρ1...ρN\rho_1 ... \rho_NAAA Este problema puede convertirse en un problema de distinguibilidad de...
Arreglemos y un número entero t > 0 .0<E<10<E<10 E \}{i | ci≤E}{i | ci≤E}\{ i ~|~ c_i \leq E \} ¡Entonces, pruébalo o encuentra el error! ¡esperando que pueda ser un juego divertido para ti! Motivación de la pregunta : Suponga que tiene una variable aleatoria , una medida típica...