El problema de la representación estatal en el aprendizaje por refuerzo (RL) es similar a los problemas de representación de características, selección de características e ingeniería de características en el aprendizaje supervisado o no supervisado.
La literatura que enseña los conceptos básicos de RL tiende a utilizar entornos muy simples para que se puedan enumerar todos los estados. Esto simplifica las estimaciones de valor en promedios móviles básicos en una tabla, que son más fáciles de entender e implementar. Los algoritmos de aprendizaje tabular también tienen garantías teóricas razonables de convergencia, lo que significa que si puede simplificar su problema para que tenga, digamos, menos de unos pocos millones de estados, entonces vale la pena intentarlo.
Los problemas de control más interesantes no encajarán en ese número de estados, incluso si los discretiza. Esto se debe a la " maldición de la dimensionalidad ". Para esos problemas, normalmente representará su estado como un vector de diferentes características, por ejemplo, para un robot, varias posiciones, ángulos, velocidades de partes mecánicas. Al igual que con el aprendizaje supervisado, es posible que desee tratarlos para su uso con un proceso de aprendizaje específico. Por ejemplo, normalmente querrá que todos sean numéricos, y si desea usar una red neuronal, también debe normalizarlos a un rango estándar (por ejemplo, -1 a 1).
Además de las preocupaciones anteriores que se aplican a otros tipos de aprendizaje automático, para RL, también debe preocuparse por la Propiedad de Markov : que el estado proporcione suficiente información, de modo que pueda predecir con precisión las próximas recompensas y los siguientes estados dados una acción, sin la necesidad de ninguna información adicional. Esto no tiene por qué ser perfecto, las pequeñas diferencias debidas, por ejemplo, a variaciones en la densidad del aire o la temperatura de un robot con ruedas no suelen tener un gran impacto en su navegación, y pueden ignorarse. Cualquier factor que sea esencialmente aleatorio también puede ignorarse mientras se atiene a la teoría RL; puede hacer que el agente sea menos óptimo en general, pero la teoría seguirá funcionando.
Si hay factores desconocidos consistentes que influyen en el resultado, y podrían deducirse lógicamente, tal vez del historial de estado o acciones, pero los ha excluido de la representación estatal, entonces puede tener un problema más grave y el agente puede no aprender .
Vale la pena señalar la diferencia aquí entre observación y estado . Una observación son algunos datos que puede recopilar. Por ejemplo, puede tener sensores en su robot que realimentan las posiciones de sus articulaciones. Debido a que el estado debería poseer la propiedad de Markov, una sola observación en bruto podría no ser suficiente para hacer un estado adecuado. Si ese es el caso, puede aplicar su conocimiento de dominio para construir un mejor estado a partir de los datos disponibles, o puede intentar usar técnicas diseñadas para MDP parcialmente observables (POMDP) : estos intentan efectivamente construir partes faltantes de datos de estado estadísticamente Puede usar un RNN o un modelo de markov oculto (también llamado "estado de creencia") para esto, y de alguna manera esto está usando un "algoritmos de aprendizaje o clasificación para "aprender" esos estados "como usted pidió.
Finalmente, debe considerar el tipo de modelo de aproximación que desea usar. Aquí se aplica un enfoque similar al del aprendizaje supervisado:
Una regresión lineal simple con características diseñadas en base al conocimiento del dominio puede funcionar muy bien. Es posible que deba trabajar duro para probar diferentes representaciones de estado para que funcione la aproximación lineal. La ventaja es que este enfoque más simple es más robusto contra los problemas de estabilidad que la aproximación no lineal.
Un aproximador de función no lineal más complejo, como una red neuronal multicapa. Puede alimentar en un vector de estado más "en bruto" y esperar que las capas ocultas encuentren alguna estructura o representación que conduzca a buenas estimaciones. De alguna manera, esto también es " algoritmos de aprendizaje o clasificación para" aprender "esos estados ", pero de una manera diferente a un RNN o HMM. Este podría ser un enfoque sensato si su estado se expresó de forma natural como una imagen de pantalla; descubrir la ingeniería de características para los datos de imagen a mano es muy difícil.
El trabajo de Atari DQN del equipo DeepMind utilizó una combinación de ingeniería de características y se basó en una red neuronal profunda para lograr sus resultados. La ingeniería de características incluyó la disminución de la imagen, reduciéndola a escala de grises y, lo que es importante para la propiedad de Markov, utilizando cuatro cuadros consecutivos para representar un solo estado, de modo que la información sobre la velocidad de los objetos estaba presente en la representación del estado. Luego, el DNN procesó las imágenes en características de nivel superior que podrían usarse para hacer predicciones sobre los valores de estado.
