¿Cuál es la diferencia entre search y learning?

Encontré un artículo, The Bitter Truth , a través del canal de YouTube Two Minute Papers . Rich Sutton dice ...

Una cosa que debe aprenderse de la amarga lección es el gran poder de los métodos de propósito general, de los métodos que continúan escalando con una mayor computación, incluso cuando la computación disponible se vuelve muy grande. Los dos métodos que parecen escalar arbitrariamente de esta manera son la búsqueda y el aprendizaje .

¿Cuál es la diferencia entre buscar y aprender aquí? Entiendo que el aprendizaje es una forma de búsqueda, donde buscamos iterativamente alguna representación de datos que minimice una función de pérdida en el contexto del aprendizaje profundo.

En el contexto de la IA:

1. La búsqueda se refiere al solucionador de problemas generales de Simon & Newell , y son muchos (muchos) algoritmos descendientes. Estos algoritmos toman la forma:

   a. Representa un estado actual de alguna parte del mundo como un vértice en un gráfico.

   si. Representa, conectado al estado actual por bordes, todos los estados del mundo a los que se podría llegar desde el estado actual cambiando el mundo con una sola acción, y representa todos los estados posteriores de la misma manera.

   C. Encuentre algorítmicamente una secuencia de acciones que conduzca desde un estado actual a un estado objetivo más deseado, recorriendo este gráfico.

Un ejemplo de una aplicación que usa la búsqueda es Google Maps. Otro es Google Flights.

2. El aprendizaje se refiere a cualquier algoritmo que refina una creencia sobre el mundo a través de la exposición a experiencias o ejemplos de las experiencias de otros. Los algoritmos de aprendizaje no tienen un padre claro, ya que se desarrollaron por separado en muchos subcampos o disciplinas diferentes. Una taxonomía razonable es el modelo de las 5 tribus . ¡Algunos algoritmos de aprendizaje realmente usan la búsqueda dentro de sí mismos para descubrir cómo cambiar sus creencias en respuesta a nuevas experiencias!

   Un ejemplo de algoritmo de aprendizaje utilizado hoy es Q-learning , que forma parte de la familia más general de algoritmos de aprendizaje por refuerzo . Q-learning funciona así:

   a. El programa de aprendizaje (generalmente llamado agente ) recibe una representación del estado actual del mundo y una lista de acciones que podría elegir realizar.

   si. Si el agente no ha visto este estado del mundo antes, asigna un número aleatorio a la recompensa que espera obtener por realizar cada acción. Almacena este número como$Q(s,a)$, adivina la calidad de la acción $a$ en estado $s$.

   C. El agente mira$Q(s,a)$para cada acción que pueda realizar. Elige la mejor acción con alguna probabilidad$\epsilon$ y de lo contrario actúa al azar.

   re. La acción del agente hace que el mundo cambie y puede dar lugar a que el agente reciba una recompensa del medio ambiente. El agente anota si obtuvo una recompensa (y cuánto fue la recompensa) y cómo es el nuevo estado del mundo. Luego ajusta su creencia sobre la calidad de realizar la acción que realizó en el estado en el que solía estar, de modo que su creencia sobre la calidad de esa acción está más cerca de la realidad de la recompensa que obtuvo, y la calidad del lugar donde se encontraba. terminó.

   mi. El agente repite los pasos bd para siempre. Con el tiempo, sus creencias sobre la calidad de los diferentes pares de estado / acción convergerán para coincidir cada vez más con la realidad.

Un ejemplo de una aplicación que usa el aprendizaje son las recomendaciones de AI.SE, que son hechas por un programa que probablemente analiza las relaciones entre diferentes combinaciones de palabras en pares de publicaciones, y la probabilidad de que alguien haga clic en ellas. Cada vez que alguien hace clic en ellos, aprende algo sobre si enumerar una publicación como relacionada es una buena idea o no. El feed de Facebook es otro ejemplo cotidiano.

Una manera de pensar en la diferencia entre búsqueda y aprendizaje es que la búsqueda generalmente implica una clave de búsqueda, y un algoritmo busca a través de la estructura buscando una coincidencia entre la clave y un elemento ya existente. Mientras que el aprendizaje es la creación de la estructura en primer lugar. Pero la búsqueda y el aprendizaje están relacionados en que al recibir una entrada (digamos de uno o más sensores) la estructura se busca inicialmente para ver si la entrada ya existe, pero si no existe, entonces la entrada actual (cuando se cumplen ciertas condiciones) se agrega a la estructura, y el aprendizaje sigue a una falla de búsqueda.