¿Existe algún trabajo que combine el aprendizaje automático y las formas más exóticas de la teoría de la complejidad?

13

Me parece que los expertos en aprendizaje automático / minería de datos están familiarizados con P y NP, pero rara vez hablan de algunas de las clases de complejidad más sutiles (por ejemplo, NC, BPP o IP) y sus implicaciones para analizar los datos de manera efectiva. ¿Hay alguna encuesta de trabajo haciendo esto?

cc.complexity-theory reference-request machine-learning Mike Izbicki
fuente
2
No conozco ninguna encuesta, pero mira este puntero al "aprendizaje cuántico" (# 5) de esta publicación: blog.computationalcomplexity.org/2012/10/quantum-workshop.html
Suresh Venkat
el aprendizaje automático ataca regularmente problemas muy difíciles que son probables fuera de NP para la optimización "global" pero dentro de NP o menos difíciles que eso para la optimización "local". así que todo el concepto de clase de complejidad se vuelve borroso cuando uno está optimizando para obtener resultados "suficientemente buenos" que se miden más mediante mediciones de calidad dependientes de la aplicación y, en cierto sentido, no se conocen realmente a priori para ejecutar el / los algoritmo (s) ...
vzn
@vzn Para mí, ¡esa sutileza parece ser una razón más para prestar atención a la complejidad! Podría proporcionar algunas ideas muy interesantes.
Mike Izbicki
Ciertamente hay conexiones entre la teoría del aprendizaje, la complejidad del circuito, la criptografía. pero este es el rincón de la teoría del aprendizaje que está un poco alejado de la práctica del aprendizaje automático. si está interesado, puedo dar algunos consejos
Sasho Nikolov
sí, otro ejemplo, los BDD (diagramas de decisión binarios) se han utilizado en algoritmos de bases de datos / minería de datos y tienen fuertes conexiones con la complejidad del circuito. pero me parece que toda la pregunta puede ser una premisa un poco complicada porque gran parte del aprendizaje automático es pragmático y la complejidad del ML aplicado a menudo se estudia indirectamente / empíricamente mediante el análisis de implementaciones reales de algoritmos en lugar de intentar anticiparlo teóricamente o clasificarlo estrictamente.
vzn

Respuestas:

3

Existe alguna diferencia inherente o disparidad de enfoques entre los dos campos del aprendizaje automático aplicado y la teoría de TCS / complejidad.

Aquí hay un taller reciente sobre el tema en el Centro de Intractabilidad Computacional, Princeton, con muchos videos.

Descripción: Muchos enfoques actuales en el aprendizaje automático son heurísticos: no podemos demostrar buenos límites ni en su rendimiento ni en su tiempo de ejecución. Este pequeño taller se centrará en el proyecto de diseño de algoritmos y enfoques cuyo rendimiento pueda analizarse rigurosamente. El objetivo es mirar más allá de las configuraciones donde ya existen límites comprobables.

En TCS, un área principal de estudio del "aprendizaje", a veces de forma confusa, incluso también llamada "aprendizaje automático", se llama teoría PAC, que significa Probablemente Aproximadamente Correcta. su origen a principios de la década de 1980 es anterior a una investigación mucho más moderna sobre el "aprendizaje automático". Wikipedia lo llama parte de la teoría de aprendizaje computacional de campo . PAC a menudo se refiere a los resultados del aprendizaje de fórmulas booleanas con muestras estadísticas de las distribuciones, etc., y la precisión alcanzable del aprendizaje con varios algoritmos o muestras limitadas. Esto se estudia de una manera teórica rigurosa con vínculos a clases de complejidad. Pero no es tanto una página de estudio aplicado y wikipedias sobre aprendizaje automático que ni siquiera lo enumera.

vzn
fuente
55
"wikipedia llama" ... ¿sabes realmente algo sobre el tema? 1) el wiki para el aprendizaje automático tiene una sección Teoría que enlaza con la teoría del aprendizaje computacional página 2) el trabajo de la teoría del aprendizaje de Valiant, Vapnik, Schapire, entre otros, ha tenido un gran impacto en la práctica del aprendizaje automático.
Sasho Nikolov