Esta idea se me ocurrió cuando era un niño aprendiendo a programar y en el primer encuentro con PRNG. Todavía no sé cuán realista es, pero ahora hay intercambio de pila. Aquí hay un esquema de 14 años para un sorprendente algoritmo de compresión: Tome un PRNG y siembre con semilla spara obtener...
De acuerdo con Wikipedia : La entropía de Shannon mide la información contenida en un mensaje en oposición a la parte del mensaje que se determina (o es predecible). Ejemplos de esto último incluyen redundancia en la estructura del lenguaje o propiedades estadísticas relacionadas con las...
Alan Turing propuso un modelo para una máquina (Turing Machine, TM) que computa (números, funciones, etc.) y demostró el Teorema de detención . Un TM es un concepto abstracto de una máquina (o motor si lo desea). El teorema de detención es un resultado imposible. Un Carnot Engine (CE) es un...
Digamos que necesito simular la siguiente distribución discreta: P(X=k)={12N,1−12N,if k=1if k=0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La forma más obvia es dibujar bits aleatorios y...
Algún tipo dijo lo siguiente: Cualquiera que intente generar números aleatorios por medios deterministas está, por supuesto, viviendo en un estado de pecado. Eso siempre se entiende que no puede generar números aleatorios verdaderos con solo una computadora. Y dijo que cuando las computadoras...
En Linux, los archivos /dev/randomy los/dev/urandom archivos son las fuentes de bloqueo y no bloqueo (respectivamente) de bytes pseudoaleatorios. Se pueden leer como archivos normales: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8 9ee2 d85c 7c6b ddb2...
Tiene una matriz de elementos distintos. Tiene acceso a un comparador (una función de la caja negro teniendo dos elementos un y b y devolver verdadero si y sólo si un < b ) y una fuente verdaderamente aleatoria de bits (una función de la caja negro sin argumentos y devolver un poco...
Dada una cadena de valores A A A A A A A A B CUNUNUNUNUNUNUNUNsiCAAAAAAAABC , la entropía de Shannon en la base de registro 222 llega a 0.9220.9220.922 . Por lo que entiendo, en la base 222 la entropía de Shannon redondeada es el número mínimo de bits en binario para representar uno solo de los...
En el trabajo, se me ha encomendado la tarea de inferir cierta información sobre un lenguaje dinámico. Reescribo secuencias de declaraciones en letexpresiones anidadas , así: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x...
Al tratar de comprender las relaciones entre la codificación Huffman, la codificación aritmética y la codificación por rango, comencé a pensar en las deficiencias de la codificación Huffman en relación con el problema del empaquetado de bits fraccional . Es decir, suponga que tiene 240 valores...
Tengo un problema de optimización restringido en la entropía de la matriz (Shannon) (sum(entr(eig(A))))(sum(entr(eig(A))))\mathtt{(sum(entr(eig(A))))} . La matriz AAA se puede escribir como la suma de las matrices de rango 1 de la forma [vivTi][viviT][v_i\,v_i^T] dondeviviv_i es un vector...
Estoy tratando de medir ahora mucha información no redundante (real) que contiene mi archivo. Algunos llaman a esto la cantidad de entropía. Por supuesto, existe el estándar p (x) log {p (x)}, pero creo que Shannon solo lo estaba considerando desde el punto de vista de transmitir a través de un...