L’ús de simuladors avançats per entrenar agents de Reinforcement Learning

Abstract

Aquest treball té com a objectiu verificar si l’ús de simuladors més complexos pot ser beneficiós per entrenar una Intel·ligència Artificial, en aquest cas un Reinforcement Learning. Per aconseguir-ho, es crearan dos models virtuals utilitzant el simulador FlexSim, un programa que simplifica la programació de simuladors i permet la creació de lògiques complexes de manera senzilla. No obstant això, a diferència de l’ús de simuladors més senzills, consumeix més recursos computacionals. Per validar la utilitat dels simuladors complexos, s’implementarà una lògica fàcil de crear en aquests, però difícil de fer directament en codi: hi haurà operaris que realitzaran els moviments de caixes segons la distància entre les màquines i una velocitat determinada per una distribució estadística. S’entrenaran dos models de Reinforcement Learning, utilitzant un model amb aquests operaris i un altre amb moviments instantanis. Amb aquests models es verificarà si hi ha algun benefici en el món real (amb els operaris realitzant el transport) si el Reinforcement Learning s’ha entrenat amb o sense aquests operaris.

Este estudio tiene como propósito determinar si el empleo de simuladores más sofisticados para el entrenamiento de una Inteligencia Artificial, específicamente un Reinforcement Learning, puede resultar provechoso. Con este fin, se desarrollarán dos modelos virtuales empleando el simulador FlexSim, un software que facilita la programación de simuladores y posibilita la creación de lógicas complejas de manera sencilla. No obstante, en contraposición al uso de simuladores más simples, consume una mayor cantidad de recursos computacionales. Para validar la conveniencia de los simuladores sofisticados, se implementará una lógica sencilla de crear en éstos, pero compleja de realizar directamente en código: existirán operarios que efectuarán los movimientos de cajas siguiendo una velocidad dictada por una distribución estadística y la distancia entre las máquinas. Se entrenarán dos modelos de Reinforcement Learning, utilizando un modelo con estos operarios y otro con movimientos instantáneos. Con estos modelos se verificará si existe algún beneficio en el mundo real (con los operarios llevando a cabo el transporte) si el Reinforcement Learning ha sido entrenado con o sin estos operarios.

This study aims to determine whether the use of more sophisticated simulators for training Artificial Intelligence, specifically, Reinforcement Learning, can be advantageous. To this end, two virtual models will be developed using the FlexSim simulator, a software that facilitates the programming of simulators and enables the creation of complex logics in a simple manner. However, in contrast to the use of simpler simulators, it consumes a greater amount of computational resources. To validate the convenience of sophisticated simulators, a logic that is easy to create in these but complex to implement directly in code will be implemented: there will be operators who will perform box movements following a speed dictated by a statistical distribution and the distance between machines. Two Reinforcement Learning models will be trained using a model with these operators and another with instantaneous movements. With these models, it will be verified if there is any benefit in the real world (with operators carrying out transportation) if Reinforcement Learning has been trained with or without these operators.