Para preguntas relacionadas con el aprendizaje controlado por refuerzo positivo externo o señal de retroalimentación negativa o ambas, donde el aprendizaje y el uso de lo aprendido hasta ahora ocurren simultáneamente.
¿Cuál es la diferencia entre el aprendizaje por refuerzo sin modelos y el basado en modelos? Me parece que cualquier alumno sin modelo, que aprenda a través de prueba y error, podría reformularse como basado en el modelo. En ese caso, ¿cuándo serían apropiados los alumnos sin...
Según tengo entendido, Q-learning y gradientes de políticas (PG) son los dos enfoques principales utilizados para resolver problemas de RL. Mientras que Q-learning tiene como objetivo predecir la recompensa de una determinada acción tomada en un determinado estado, los gradientes de políticas...
Quiero crear una IA que pueda jugar cinco en raya / gomoku. Como mencioné en el título, quiero usar el aprendizaje de refuerzo para esto. Utilizo el método de gradiente de políticas , a saber, REINFORCE, con línea de base. Para el valor y la aproximación de la función política, utilizo una red...
Por ejemplo, el título de este artículo dice: "Muestra de actor-crítico eficiente con repetición de experiencia". ¿Qué es la eficiencia de la muestra y cómo se puede utilizar el muestreo de importancia para
Estoy estudiando el aprendizaje por refuerzo y sus variantes. Estoy empezando a comprender cómo funcionan los algoritmos y cómo se aplican a un MDP. Lo que no entiendo es el proceso de definición de los estados del MDP. En la mayoría de los ejemplos y tutoriales, representan algo simple como un...
¿Hay alguna manera de enseñar el aprendizaje por refuerzo en aplicaciones que no sean juegos? Los únicos ejemplos que puedo encontrar en Internet son de agentes de juegos. Entiendo que los VNC controlan la entrada a los juegos a través de la red de refuerzo. ¿Es posible configurar esto con...
He estado buscando aprendizaje de refuerzo y específicamente jugando con la creación de mis propios entornos para usar con OpenAI Gym AI. Estoy usando agentes del proyecto stable_baselines para probar con él. Una cosa que he notado en prácticamente todos los ejemplos de RL es que nunca parece...
Al diseñar soluciones a problemas como el Lunar Lander en OpenAIGym , el refuerzo de aprendizaje es un medio tentador para darle al agente el control de acción adecuado para aterrizar con éxito. Pero, ¿en qué casos los algoritmos del sistema de control, como los controladores PID , harían un...
El algoritmo de aprendizaje Q tabular está garantizado para encontrar la función QQQ óptima , Q∗Q∗Q^* , siempre que las siguientes condiciones (lascondiciones Robbins-Monro) con respecto a la tasa de aprendizaje se satisfacen ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) =...
Estaba pasando por esta implementación de DQN y veo que en la línea 124 y 125 se han inicializado dos redes Q diferentes. Según tengo entendido, creo que una red predice la acción apropiada y la segunda red predice los valores de Q objetivo para encontrar el error de Bellman. ¿Por qué no podemos...
Estoy codificando un modelo de aprendizaje de refuerzo con un agente PPO gracias a la muy buena biblioteca Tensorforce , construida sobre Tensorflow. La primera versión fue muy simple y ahora me estoy sumergiendo en un entorno más complejo donde todas las acciones no están disponibles en cada...
Como estudiante que quiere trabajar en el aprendizaje automático, me gustaría saber cómo es posible comenzar mis estudios y cómo seguirlo para estar al día. Por ejemplo, estoy dispuesto a trabajar en problemas de RL y MAB, pero hay grandes publicaciones sobre estos temas. Además, estos temas son...
Estaba leyendo el libro Aprendizaje de refuerzo: una introducción de Richard S. Sutton y Andrew G. Barto (borrador completo, 5 de noviembre de 2017). En la página 271, se presenta el pseudocódigo para el método episódico de gradiente de políticas de Montecarlo. Mirando este pseudocódigo, no puedo...
Trusted Region Policy Optimization (TRPO) y Proximal Policy Optimization (PPO) son dos algoritmos de gradientes de políticas de vanguardia. Al usar una sola acción continua, normalmente, usaría alguna distribución de probabilidad (por ejemplo, gaussiana) para la función de pérdida. La versión...
¿La política óptima es siempre estocástica (es decir, un mapa de estados a una distribución de probabilidad sobre acciones) si el entorno también es estocástico? Intuitivamente, si el entorno es determinista (es decir, si el agente está en un estado sss y toma la acción unaaa , entonces el...
En matemáticas, la palabra operador puede referirse a varios conceptos distintos pero relacionados. Un operador se puede definir como una función entre dos espacios vectoriales, se puede definir como una función donde el dominio y el codominio son iguales, o se puede definir como una función desde...
A mi entender, el algoritmo de búsqueda de árbol de Monte Carlo (MCTS) es una alternativa al minimax para buscar un árbol de nodos. Funciona eligiendo un movimiento (generalmente, el que tiene la mayor probabilidad de ser el mejor), y luego realizando una jugada aleatoria en el movimiento para ver...
En robótica, la técnica de aprendizaje de refuerzo se utiliza para encontrar el patrón de control de un robot. Desafortunadamente, la mayoría de los métodos de gradiente de políticas están sesgados estadísticamente, lo que podría llevar al robot a una situación insegura, consulte la página 2 en Jan...
Inventé un juego de tablero similar al ajedrez. Construí un motor para que pueda jugar de forma autónoma. El motor es básicamente un árbol de decisión. Está compuesto por: Una función de búsqueda que en cada nodo encuentra todos los movimientos legales posibles Una función de evaluación que...
La mayoría de las introducciones al campo de los MDP y el aprendizaje por refuerzo se centran exclusivamente en dominios donde las variables de espacio y acción son enteros (y finitos). De esta manera, se nos presenta rápidamente la iteración del valor, el Q-Learning y similares. Sin embargo, las...