Dado

Aquí hay un problema con un sabor similar al de las juntas de aprendizaje:

Entrada: Una función $f: \{0,1\}^n \rightarrow \{-1,1\}$ , representada por un oráculo de membresía, es decir, un oráculo que dado $x$ , devuelve $f(x)$ .

Objetivo: encontrar un subcubo $S$ de $\{0,1\}^n$ con volumen $|S|=2^{n-k}$ tal que $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1$ . Asumimos que tal subcubo existe.

Es fácil obtener un algoritmo que se ejecute en el tiempo $n^{O(k)}$ y devuelva una respuesta correcta con probabilidad $\ge 0.99$ probando todas las $(2n)^k$ formas de elegir un subcubo y muestreando el promedio en cada uno.

Me interesa encontrar un algoritmo que se ejecute en el tiempo $poly(n,2^k)$ . Alternativamente, un límite inferior sería genial. El problema tiene un sabor similar al de las juntas de aprendizaje, pero no veo una conexión real entre su dificultad computacional.

Actualización: @Thomas a continuación demuestra que la complejidad de la muestra de este problema es $poly(2^k,\log n)$ . La cuestión interesante es, aún, la complejidad computacional del problema.

Editar: puede suponer por simplicidad que existe un subcubo con $\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.2$ (observe la brecha: estamos buscando un subcubo con un promedio $\ge 0.1$ .) Estoy bastante seguro de que cualquier solución al problema con la brecha también resolverá el problema sin la brecha.

machine-learning lg.learning boolean-functions sample-complexity bola de masa de mobius
fuente

Respuestas:

$n^k$

$S$ $2^{n-k}$ $|\mathbb{E}_{x \in S}[f(x)]| \geq 0.12$ $O(2^k \cdot k \cdot \log n)$ $S'$ $2^{n-k}$ $|\mathbb{E}_{x \in S'}[f(x)]| \geq 0.1$

$0.12$ $0.1$

$m$ $P \subset \{0,1\}^n$ $f$ $x \in P$

$S$ $2^{n-k}$ $\mathbb{E}[|S \cap P|]=m 2^{-k}$

P [| S \cap P | < m 2^{- k - 1}] \leq 2^{- Ω (m 2^{- k})} .

$\mathbb{P}[|S \cap P| < m 2^{-k-1}] \leq 2^{-\Omega(m 2^{-k})}.$

P [| E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | > ε] \leq 2^{- Ω (| S \cap P | ε^{2})} .

$\mathbb{P}[| \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | > \varepsilon] \leq 2^{-\Omega(|S \cap P| \varepsilon^2)}.$

Mediante una unión vinculada a todas las opciones de , tenemosEntonces, al elegir , podemos asegurarnos de que, con una probabilidad de al menos , podamos estimar dentro de para todos los subcubos de tamaño . ${n \choose k}2^k$ $S$

P [\forall S | E_{x \in S \cap P} [f (x)] - E_{x \in S} [f (x)] | \leq ε] \geq 1 - (\binom{n}{k}) 2^{k} 2^{- Ω (m 2^{- k} ε^{2})} .

$\mathbb{P}[\forall S ~~ | \mathbb{E}_{x \in S \cap P}[f(x)] - \mathbb{E}_{x \in S}[f(x)] | \leq \varepsilon] \geq 1 - {n \choose k} 2^k 2^{-\Omega(m 2^{-k} \varepsilon^2)}.$

m = O (2^{k} / ε^{2} \cdot k \log n)

$m = O(2^k/\varepsilon^2 \cdot k \log n)$

0.99

$0.99$

E_{x \in S} [f (x)]

$\mathbb{E}_{x \in S}[f(x)]$

ε

$\varepsilon$

S

$S$

2^{n - k}

$2^{n-k}$

Estableciendo , demostramos el teorema: elegir el subcubo con el mayorCon alta probabilidad, satisfará los requisitos. QED $\varepsilon=0.01$ $| \mathbb{E}_{x \in S \cap P}[f(x)]|$

Thomas
fuente

Oh, qué tonto de mi parte: sí, la idea básica es que si muestreas puntos, entonces una de ellos esperada estará en cada subcubo, por lo que con un valor modesto de que da un gran tamaño de la muestra lo suficiente para resolver el problema, incluso después de la unión-brincando por todos los límites Chernoff. Además, estoy bastante seguro de que cualquier solución se puede adaptar para eliminar la brecha entre 0.1 y 0.12, así que solo agregaré esto como un comentario a la pregunta. ¡¡Gracias!!

C \cdot 2^{k}

$C \cdot 2^k$

C

$C$

C

$C$

n^{k}

$n^k$

mobius dumpling

Otra forma de ver esto es que el espacio de rango que describe tiene una dimensión de ruptura limitada y, por lo tanto, una dimensión de VC limitada, y luego le arroja el teorema de aproximación eps.

Suresh Venkat