Cómo iterar sobre vectores en orden de probabilidad en un espacio pequeño

12

Considere un vector dimensional donde . Para cada sabemos y supongamos que son independientes. Usando estas probabilidades, ¿hay una manera eficiente de iterar sobre vectores binarios dimensionales en orden de más probable a menos probable (con opciones arbitrarias para los lazos) usando el espacio sublineal en el tamaño de salida? $n$ $v$ $v_i \in \{0,1\}$ $i$ $p_i = P(v_i = 1)$ $v_i$ $n$

Tome por ejemplo . El vector más probable es y el menos probable es . $p = \{0.8, 0.3, 0.6\}$ $(1,0,1)$ $\{0,1,0\}$

Para muy pequeño podríamos etiquetar cada uno de los vectores con su probabilidad y simplemente ordenarlos, pero esto, por supuesto, aún no usaría espacio sublineal. $n$ $2^n$

Una variante cercana de esta pregunta se hizo anteriormente en /cs/24123/how-to-iterate-over-vectors-in-order-of-probability .

ds.algorithms space-bounded Lembik
fuente

¿Hay alguna razón por la que no hiciste la pregunta de seguimiento allí también? ¿El problema principal aquí es hacer esto en el espacio sublineal?

Suresh Venkat

@SureshVenkat Sí, el problema es completamente sobre el espacio sublineal (en el tamaño de salida). Lo pregunté aquí porque creo que la pregunta puede ser muy difícil.

Lembik

Resolver esto en espacio y tiempo parece requerir técnicas similares a SUBSET-SUM (saber rápidamente qué sumas de subconjuntos casi cancelan diferentes sumas). Por lo tanto, es poco probable que tenga una solución rápida.

poly (n)

$\textrm{poly}(n)$

Geoffrey Irving

@GeoffreyIrving ¿Crees que esta intuición se puede hacer más formal?

Lembik

9

Lo siguiente proporciona un algoritmo que usa aproximadamente tiempo y espacio. $2^n$ $2^{n/2}$

Primero, veamos el problema de ordenar las sumas de todos los subconjuntos de elementos. $n$

Considere este subproblema: tiene dos listas ordenadas de longitud , y le gustaría crear una lista ordenada de las sumas por pares de los números en las listas. Le gustaría hacer esto en aproximadamente tiempo (el tamaño de salida), pero en un espacio sublineal. Podemos lograr el espacio . Mantenemos una cola de prioridad y sacamos las sumas de la cola de prioridad en orden creciente. $m$ $O(m^2)$ $O(m)$

Deje que las listas sean y , ordenadas en orden creciente. Tomamos las sumas , , y las en una cola prioritaria. $a_1 \ldots a_m$ $b_1 \ldots b_m$ $m$ $a_i + b_1$ $i = 1 \ldots m$

Ahora, cuando sacamos la suma más pequeña restante de la cola de prioridad, si entonces colocamos la suma en la cola de prioridad. El espacio está dominado por la cola de prioridad, que siempre contiene como máximo sumas. Y el tiempo es , ya que usamos para cada operación de cola prioritaria. Esto muestra que podemos hacer el subproblema en el tiempo y el espacio . $a_i + b_j$ $j < m$ $a_i + b_{j+1}$ $m$ $O(m^2 \log m)$ $O(\log m)$ $O(m^2 \log m)$ $O(m)$

Ahora, para ordenar las sumas de todos los subconjuntos de números, solo usamos esta subrutina donde la lista es el conjunto de sumas de subconjuntos de la primera mitad de los elementos, y la lista es el conjunto de sumas de subconjuntos de segunda mitad de los artículos. Podemos encontrar estas listas de forma recursiva con el mismo algoritmo. $n$ $a_i$ $b_i$

Ahora consideraremos el problema original. Sea el conjunto de coordenadas que son y el conjunto de coordenadas que son . Entonces $S_0$ $0$ $S_1$ $1$

\begin{array}{rcl} \prod_{i \in S_{0}} p (v_{i} = 0) \prod_{i \in S_{1}} p (v_{i} = 1) & = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \prod_{i \in S_{1}} \frac{p (v_{i} = 1)}{p (v_{i} = 0)} \\ = & \prod_{1 \leq i \leq n} p (v_{i} = 0) \exp (\sum_{i \in S_{1}} \log \frac{p (v_{i} = 1)}{p (v_{i} = 0)}) . \end{array}

$\begin{eqnarray*}\prod_{i \in S_0} p(v_i=0) \prod_{i \in S_1} p(v_i=1) &=& \prod_{1\leq i \leq n} p(v_i=0) \prod_{i \in S_1} \frac{p(v_i=1)}{p(v_i=0)} \\ &=& \prod_{1\leq i \leq n} p(v_i=0) \exp\,\left(\sum_{i \in S_1} \log \frac{p(v_i=1)}{p(v_i = 0)}\right).\end{eqnarray*}$

Ordenar estos números es lo mismo que ordenar los números , por lo que hemos reducido el problema a ordenar las sumas de subconjuntos de artículos. $\sum_{i\in S_1}\log p(v_i=1) - \log p(v_i=0)$ $n$

Peter Shor
fuente

¿Existe una reducción plausible que haga que una solución poli tiempo / espacio sea inverosímil?

Lembik

Probablemente no va a obtener una solución que tome menos de tiempo, ya que ese es el tamaño de la salida (y mi solución toma tiempo). Sin embargo, no tengo un buen límite inferior para el espacio.

2^{n}

$2^n$

n 2^{n}

$n\, 2^n$

Peter Shor

Gracias. No me refería al tiempo polivinílico, por supuesto, sino a algo lineal en el tamaño de salida y el espacio polivinílico.

Lembik

4

Podemos hacerlo en el espacio (si no nos importa el tiempo de ejecución). $O(n)$

Para una cadena dada , podemos calcular en el espacio el número de cadenas que son más probables que ; es decir, el número de st : simplemente revise todos y cuente el número de st . Tenga en cuenta que es el número secuencial de la cadena en la salida. $x \in \{0,1\}^n$ $O(n)$ $r(x)$ $x$ $x'$ $p(x') > p(x)$ $x'\in \{0,1\}^n$ $x'$ $p(x') > p(x)$ $r(x)$ $x$
Para cada , podemos encontrar con en el espacio : repasar todo , para cada calcular , detener y generar si . $k$ $x$ $r(x) = k$ $O(n)$ $x \in \{0,1\}^n$ $x$ $r(x)$ $x$ $r(x) = k$
Ahora solo repase todas las de a , para cada imprima con . $k$ $0$ $2^n-1$ $k$ $x$ $r(x) =k$

(También debemos ocuparnos de posibles lazos, pero esto no es difícil).

Yury
fuente

Gracias. Sin embargo, es un algoritmo bastante lento :)

Lembik

0

Editar: esta respuesta es incorrecta. Ver comentarios para más detalles. ~ gandaliter

Lineal en la salida significa . Creo que el algoritmo obvio solo usa el espacio , aparte de la salida en sí, por supuesto. $O(2^n)$ $O(n)$

Tome la lista que contiene los pares y ordénela por, más grande primero. $(i, p_i)$ $\left|0.5 - p_i\right|$
Defina una función doblemente recursiva que tome una lista de dichos pares y un vector parcialmente lleno , establezca el valor de en $v$ $v_i$ $1$ $p_i > 0.5$ $0$ $v$ $v_i$ $v$
Llame a esta función recursiva en la lista ordenada y un vector vacío.

$0$ $1$ $0.5$

$O(2^n)$ $O(n)$ $n$ $O(2^n)$ $O(n)$ $O(2^n)$

gandaliter
fuente

La otra respuesta es ciertamente diferente, ya que requiere una cola prioritaria y, por lo tanto, utiliza el espacio .

Θ (2^{n})

$\Theta(2^n)$

Lembik

Gracias. ¡Claramente no lo leí con suficiente cuidado! He editado mi respuesta.

gandaliter

3

¿Estás seguro de que esta solución funciona? No pude entender los detalles de la doble recursión (¡el pseudocódigo ayudaría!), Pero no veo cómo podría funcionar. En particular, su solución parece ser local: si establece , ahora generará respuestas con . Pero las respuestas reales no deberían verse de esta manera. De hecho, hasta donde entendí su solución, parece fallar incluso para el caso más simple donde todos .

v_{1} = 1

$v_1=1$

2^{n - 1}

$2^{n-1}$

v_{1} = 1

$v_1=1$

p_{i} = 0.5

$p_i=0.5$

mobius dumpling

Tienes razón, esto no funciona. ¡Lo siento!

gandaliter

Cómo iterar sobre vectores en orden de probabilidad en un espacio pequeño

Respuestas: