Adaptació de la planificació i gestió de treballs en un clúster híbrid HPC i Big Data utilitzant CGroups

Abstract

Aquest treball presenta el disseny i desenvolupament d’una segona versió d’un metascheduler capaç de gestionar entorns de clúster heterogenis amb SGE i Hadoop. La principal innovació és la incorporació de cgroups per al control fi de CPU i memòria, aplicant polítiques de compartició avançades. Els experiments realitzats mostren que la gestió dinàmica de recursos ofereix l’equilibri òptim entre rendiment i equitat, millorant el throughput i adaptant-se a les necessitats de les càrregues de treball en temps real. També es detecten limitacions en escalabilitat, precisió del control i cobertura de recursos. Com a línies futures, es proposa ampliar el suport de cgroups a I/O i xarxa, integrar nous schedulers com Slurm o Kubernetes, millorar l’algorisme dinàmic amb tècniques predictives i desenvolupar una interfície web per a la monitorització i gestió. Aquest projecte constitueix una base sòlida per a la planificació híbrida de clústers amb SGE i Hadoop.