Analysis and development of trustworthy Reinforcement Learning-based resource management strategies for Beyond 5G

Abstract

The integration of Artificial Intelligence (AI), particularly Reinforcement Learning (RL), into Radio Access Networks (RANs) offers significant potential for optimizing network performance and enabling automation. However, ensuring the trustworthiness of these AI based models is crucial to prevent potential network disruptions that could negatively impact users. This thesis introduces a training strategy recommender system designed to enhance the trustworthiness of RL-based RAN management solutions, considering cell characteristics, available data, and specific model requirements to recommend the most suitable training strategy. The findings emphasize the impact of three different training strategies on the learned RL policies, aiding in determining the best training strategy for a particular input. The research also involves analyzing real network data to characterize the cell spectral efficiency and identify representative cells for the study. The insights gained from this thesis contribute to the development of robust and adaptable AI solutions for future networks, ensuring their reliability and effectiveness in complex and ever-changing RAN environments.

La integración de la Inteligencia Artificial (IA), en particular el Aprendizaje por Refuerzo (AR), en las Redes de Acceso Radio (RAN) ofrece un potencial significativo para optimizar el rendimiento de la red y permitir la automatización. Sin embargo, es crucial garantizar la confianza de estos modelos basados en IA para evitar posibles interrupciones de la red que podrían afectar negativamente a los usuarios. Esta tesis introduce un sistema recomendador de estrategias de entrenamiento diseñado para mejorar la confianza de las soluciones de gestión RAN basadas en AR, teniendo en cuenta las características de la celda, los datos disponibles y los requisitos específicos del modelo para recomendar la estrategia de entrenamiento más adecuada. Los resultados destacan el impacto de tres estrategias de entrenamiento diferentes en las políticas de AR aprendidas, ayudando a determinar la mejor estrategia de entrenamiento para una entrada determinada. La investigación también implica analizar datos de red reales para caracterizar la eficiencia espectral de la celda e identificar celdas representativas para el estudio. Las conclusiones obtenidas de esta tesis contribuyen al desarrollo de soluciones de IA robustas y adaptables para redes futuras, garantizando su fiabilidad y eficacia en entornos RAN complejos y en constante cambio.

La integració de la Intel·ligència Artificial (IA), en particular l'Aprenentatge per Reforç (AR), a les Xarxes d'Accés Ràdio (RAN) ofereix un potencial significatiu per optimitzar el rendiment de la xarxa i permetre l'automatització. No obstant això, és crucial garantir la confiança d'aquests models basats en IA per evitar possibles interrupcions de la xarxa que podrien afectar negativament els usuaris. Aquesta tesi introdueix un sistema recomanador d'estratègies d'entrenament dissenyat per millorar la confiança de les solucions de gestió RAN basades en AR, tenint en compte les característiques de la cel·la, les dades disponibles i els requisits específics del model per recomanar l'estratègia d'entrenament més adequada. Els resultats destaquen l'impacte de tres estratègies d'entrenament diferents en les polítiques d'AR apreses, ajudant a determinar la millor estratègia d'entrenament per a una entrada determinada. La investigació també implica analitzar dades de xarxa reals per caracteritzar l'eficiència espectral de la cel·la i identificar cel·les representatives per a l'estudi. Les conclusions obtingudes d'aquesta tesi contribueixen al desenvolupament de solucions d'IA robustes i adaptables per a xarxes futures, garantint la seva fiabilitat i eficàcia en entorns RAN complexos i en constant canvi.