Complejidad de consulta computacional de SQ-learning

12

Se sabe que para el aprendizaje PAC, existen clases de conceptos naturales (p. Ej., Subconjuntos de listas de decisiones) para las cuales hay brechas polinómicas entre la complejidad de la muestra necesaria para el aprendizaje teórico de la información por parte de un alumno computacionalmente ilimitado, y la complejidad de la muestra que necesita un polinomio. aprendiz de tiempo. (ver, por ejemplo, http://portal.acm.org/citation.cfm?id=267489&dl=GUIDE o http://portal.acm.org/citation.cfm?id=301437 )

Sin embargo, estos resultados parecen depender de la codificación de un secreto en ejemplos particulares y, por lo tanto, no se traducen naturalmente en el modelo SQ de aprendizaje, donde el alumno solo puede consultar las propiedades estadísticas de la distribución.

¿Se sabe si existen clases de conceptos para las cuales el aprendizaje teórico de la información en el modelo SQ es posible con consultas O (f (n)), pero el aprendizaje computacionalmente eficiente solo es posible con consultas Omega (g (n)) para g (n ) >> f (n)?

Aaron Roth
fuente

Respuestas:

9

Me he hecho esta pregunta hace un tiempo. Al menos para aprender con respecto a una distribución específica, hay un ejemplo bastante simple de una clase de concepto que es información teóricamente aprendeble SQ pero es NP-difícil de aprender SQ. Sea \ phi una codificación binaria de una instancia SAT e y sea su primera asignación satisfactoria lexicográficamente (o 0 ^ n si la instancia no es satisfactoria). Ahora dejemos que f (\ phi) sea una función que sobre la mitad del dominio es el MAJ (\ phi) y sobre la segunda mitad del dominio es igual a PAR (y). Aquí MAJ es la función mayoritaria sobre las variables que se establecen en 1 en la cadena \ phi y PAR (y) es la función de paridad sobre las variables que se establecen en 1 en la cadena y. Sea F la clase de funciones obtenida de esta manera. Para SQ aprender F sobre la distribución uniforme U, uno solo necesita aprender mayorías (lo cual es fácil) para encontrar \ phi y luego encontrar y. Por otro lado, es bastante fácil reducir el aprendizaje de SAT a SQ de F (con cualquier precisión notablemente mayor que 3/4) sobre la distribución uniforme. La razón de esto, naturalmente, es que las paridades son esencialmente "invisibles" para los SQ y, por lo tanto, es necesario resolver SAT para aprender F.

Vitalia
fuente
5

Esta es una buena pregunta. El poder del modelo de consulta estadística es precisamente la capacidad de probar límites inferiores incondicionales para aprender con SQ; por ejemplo, la paridad no se puede aprender con consultas estadísticas de números polinómicos.

No conozco los resultados del formulario que solicitas, pero tal vez nos falta algo obvio ...

Lev Reyzin
fuente