Interface Grille / HPC

Projet Connexion EGI-CIMENT

L’objectif de ce projet est d’accentuer les collaborations entre le LPSC et le mésocentre CIMENT, en travaillant à l’interfaçage du mésocentre avec le système de production de l’expérience ATLAS et donc la grille EGI. L’intérêt pour ATLAS sera de bénéficier de davantage de CPU (opportuniste) et pour CIMENT de remplir plus facilement les cycles vides des machines de calcul.

Rapport de stage de Lambert Rocher, encadrants C. Biscarat & B. Bzeznik

Résumé :

Les moyens de calcul numérique des laboratoires grenoblois sont mutualisés sous la forme de grappes de serveurs administrés par l’unité GRICAD. Ces machines exécutent d'importantes tâches de calcul sur un grand nombre de cœurs en parallèle. Inévitablement, l’ordonnancement de grosses tâches laisse certaines ressources non utilisées. Le seul moyen d’utiliser ces ressources serait d’y exécuter des tâches de calcul nécessitant un petit nombre de coeurs. ATLAS, l'une des expériences auprès du collisionneur LHC au CERN, analyse ses données à l'aide d'une grande quantité de petites tâches indépendantes. L'unité GRICAD souhaite interfacer ses machines avec l'expérience ATLAS.

Sur le plan technique, cela implique d’installer l’intergiciel ARC-CE (utilisé par ATLAS) et de le connecter au gestionnaire de ressources OAR utilisé par GRICAD. L'intergiciel ARC n’est pas conçu nativement pour fonctionner avec OAR. Il faut développer un greffon spécifique, ce qui constitue l’objet de mon stage. Dans un premier temps, j’ai installé et configuré le logiciel ARC-CE à l’intérieur d’un conteneur Docker, afin d’automatiser le déploiement de l’intergiciel. J’ai ensuite développé le greffon du ARC-CE lui permettant d'exécuter des tâches via OAR et d’en récupérer les résultats. Nous présentons les différentes étapes de ce projet et la solution que nous avons adoptée pour le développement de ce greffon.

Accès au PDF