¿Cuál es el resultado del estado del arte sobre la complejidad de las consultas de las fórmulas de aprendizaje 2-DNF PAC adecuadas con consultas de muestra y bajo distribución uniforme ? ¿O alguna atadura no trivial?
Debido a que no estoy familiarizado con la teoría del aprendizaje y esta pregunta está motivada por un campo diferente, la respuesta podría ser obvia. Revisé el libro de Kearns y Vazirani, pero no parecen considerar esta configuración explícitamente.
upd Aunque el parámetro principal de interés es la complejidad de la consulta, el tiempo de ejecución también es importante. Si es posible, el tiempo de ejecución debe ser aproximadamente el mismo que la complejidad de la consulta o, como máximo, polinomio.
upd El Apéndice B (parte superior de la página 18) del documento "Aprendizaje de las funciones submodulares" de Balcan y Harvey menciona que "es bien sabido que los 2-DNF son eficientes para aprender PAC". Sin embargo, no mencionan si este resultado es para un aprendizaje adecuado o si da alguna referencia.
fuente
Respuestas:
No sé si considerarás lo siguiente como un límite no trivial, pero aquí voy.
Imagine un algoritmo que toma muestras y luego prueba todos loshipótesis hasta que encuentre una que prediga perfectamente sobre las muestras. El teorema Razor de Occam dice que solo necesita tomar aproximadamente muestras para este algoritmo para encontrar un objetivo con error con probabilidad .m |H| m=O(1ϵ|(H|+1δ) ≤ϵ ≥1−δ
En nuestro caso, para , , lo que significa que necesitará aproximadamente muestras para hacer el aprendizaje (adecuado).c=2 lg|H|=O(n2) n2
Pero todo el juego en el aprendizaje no es realmente una complejidad de muestra (aunque eso es parte del juego, especialmente en el aprendizaje eficiente de atributos), sino más bien en el intento de diseñar algoritmos de tiempo polinomial. Si no le importa la eficiencia, entonces es la respuesta más simple para la complejidad de la muestra PAC.n2
ACTUALIZACIÓN (dada la pregunta modificada) :
Debido a que usted declaró explícitamente que solo le importaba la complejidad de la muestra, presenté el algoritmo de fuerza bruta de Occam, que es probablemente el argumento más simple. Sin embargo, mi respuesta fue un poco tímida. -DNF son realmente aprendibles en tiempo polinómico! Este es el resultado del artículo original de Valiant, " A Theory of the Learnable ". De hecho, -DNF se puede aprender para cualquier .2 c c=O(1)
El argumento es el siguiente. Puede ver un -DNF como una disyunción de "meta-variables" e intentar aprender la disyunción eliminando las meta-variables inconsistentes con los ejemplos. Dicha solución se puede traducir fácilmente a una solución "adecuada", y lleva tiempo . Como nota al margen, todavía está abierto si existe un algoritmo de tiempo polinómico para .c ≈nc O(nc) c=ω(1)
En cuanto a si la complejidad de la muestra también es un límite inferior, la respuesta es bastante sí. Este artículo de Ehrenfeucht et al. muestra que el límite de Occam es casi apretado.n2
fuente