ESPRI-IA – Ressources

Sommaire

Liste des clusters GPU

Mise à jour le 26 avril 2022, cette liste est à l’intention des utilisateurs du Machine Learning nécessitant des moyens de calculs accélérés par GPU.

Nom cluster Centre Tiers Matériel (config par nœud) Liens
HAL IPSL/LATMOS/OVSQ/ 2 – 4 nœuds : 2 Intel Xeon Silver 4215 (16c@2,5GHz chacun), 2 Nvidia RTX 2080 TI 11Go
– 2 nœuds : 2 Intel Xeon Silver 4210R (20c@2,4GHz chacun), 2 Nvidia RTX A5000 24Go 		ouverture compte, doc
Mésocentres régionaux 2 Dépendant du centre site
CCIN2P3plateforme GPU IN2P3 1 – 10 nœuds : 2 Xeon E5-2640v3 (8c@2.6 GHz), 128 Go RAM, 2 Nvidia Tesla K80 12 Go
– 6 nœuds : 2 Xeon Silver 4114 (10c@2.2 GHz), 192 Go RAM, 4 NVidia Tesla V100 32 Go		 site, conditions d’accès, doc
Irene V100 TGCC 1 32 nœuds : 2 Intel Cascade Lake (20c@2.1 GHz), 4 NVidia Tesla V100 16 Go site, conditions d’accès (GENCI), obtention d’accès (eDARI), doc
Jean Zay partition GPU IDRIS 1 – 351 nœuds : 2 Intel Cascade Lake 6248 (20c@2.5 GHz), 192 Go RAM, 4 NVidia Tesla V100 16 Go
– 261 nœuds : 2 Intel Cascade Lake 6248 (20c@2.5 GHz), 192 Go RAM, 4 NVidia Tesla V100 32 Go
– 20 nœuds : 2 Intel Cascade Lake 6226 (12c@2.7 GHz), 384 Go RAM, 8 NVidia Tesla V100 32 Go
– 11 nœuds : 2 Intel Cascade Lake 6226 (12c@2.7 GHz), 768 Go RAM, 8 NVidia Tesla V100 32 Go
– 3 nœuds : Intel Cascade Lake 6240R (24c@2.4 GHz), 768 Go RAM, 8 NVidia A100 PCIE 40 Go
– 52 nœuds : 2 AMD Milan EPYC 7543 (32c@3.3 GHz), 512 Go RAM, 8 NVidia A100 SXM4 80 Go		 site, conditions d’accès (GENCI), obtention d’accès (eDARI), doc
PRACE Centres européens partenaires 0 Dépendant du centre site, deep learning best practice

Liste des rapports d’ESPRI-IA

Cette section liste les différents rapports rédigés par les membres d’ESPRI-IA.

  • Lien du rapport d’analyse de la pratique du Machine Learning à l’IPSL (sondage ESPRI-IA) – 2 octobre 2020

Groupe ESPRI-IA Gitlab IN2P3

Cette section est un guide d’utilisation du groupe Gitlab ESPRI-IA sur le serveur de l’IN2P3.

Politique d’accès Gitlab

L’ensemble des membres des laboratoires de l’IPSL et de la fédération IPSL ont un accès au groupe nommé IPSL de l’instance Gitlab de l’IN2P3 (un groupe Gitlab est un répertoire pouvant contenir des groupes et des dépôts Git). De plus, chaque laboratoire de l’IPSL possède son propre groupe Gitlab rattaché au groupe IPSL et dont l’administration est assuré par du personnel du laboratoire. Pour plus d’informations voir ce document. Actuellement les administrateurs du groupe Gitlab ESPRI-IA sont S. Gardoll et G. Levavasseur. Les rôles Gitlab pour ce groupe sont accordés aux membres d’ESPRI-IA sur demande.

Nature des dépôts

Le groupe Gitlab ESPRI-IA a pour but de centraliser les projets, les documents et les cours produits par ESPRI-IA ainsi que les projets et codes IA produits par la communauté IA de l’IPSL ayant un potentiel de réutilisation en ingénierie IA (tutoriels, exemples à suivre, bibliothèques logicielles, etc.). Cependant, le groupe peut également accueillir les projets IA n’ayant pas de rattachement naturel ou les projets IA inter-laboratoires. Ainsi, on peut retrouver les items suivants dans le groupe Gitlab ESPRI-IA :

  • Les cours, tutoriels et exemples de codes IA
  • La documentation et les pages web d’ESPRI-IA
  • Les bibliothèques logicielles réutilisables pour les projets IA (libraries)
  • Les projets IA :
    • propre à ESPRI-IA
    • dont l’ingénierie est potentiellement réutilisable par de la communauté IA de l’IPSL
    • inter-laboratoires
    • n’ayant aucun rattachement naturel

Organisation des sous-groupes

Arborescence :

Root
|____ IPSL
       |____ ESPRI
               |____ ESPRI-IA
                       |
                       |___ Documents (site web d'ESPRI-IA, cours, tutoriels, exemples de code, etc.)
                       |
                       |___ Projects (projets d'ESPRI-IA ou réutilisables, bibliothèques, etc.)

Séminaires

Vous trouverez ici tous les séminaires d’ESPRI-IA. Les futurs séminaires sont toujours annoncés sur le site de l’IPSL à cette adresse. ESPRI-IA vous invite également à suivre les séminaires organisés par son partenaire AI4Climate, à cette adresse.

  • Présentation de HAL, le cluster GPU OVSQ/LATMOS/IPSL, Yann Delcambre et Sébastien Gardoll, le 26/05/2020

Ce webinaire présente le cluster de calculs HAL dédiés au Machine Learning et plus particulièrement au Deep Learning. Il est également fait une courte introduction au Machine Learning et au calcul GPU à l’intention des débutant·es. Les slides sont accessibles à cette adresse et la vidéo du webinaire à celle-ci.

Ressources documentaires

Vous trouverez ici des liens vers des formations, supports de cours, tutoriels et articles sur le thème de l’IA et plus particulièrement du Machine Learning.

Formations IPSL

Les formations en ligne libres et gratuites de l’IPSL sur le Machine Learning proposées par Fouad Badran, Cécile Mallet, Awa Niang et Sylvie Thiria. Ces formations traitent, notamment :

Livres

  • Deep Learning de Ian Goodfellow and Yoshua Bengio et Aaron Courville (lien du livre)

L’inventeur du Generative Adversarial Networks nous offre une précieuse référence dans le domaine du Deep Learning, utile autant aux étudiant·es qu’aux chevronnés du Deep Learning.

Fiches pratiques en ingénierie logicielle (DevLOG)

  • Je code : les bonnes pratiques de développement logiciel. L. Ammour, O. Cappé, T. Chaventre, K. Dassas, M. Dexet, P. Moreau, C. Mouton, J.C. Souplet. 2019. Lien
  • Je code : les bonnes pratiques de diffusion. L. Ammour, K. Barral, P. Moreau, S. Nicoud, J.C. Souplet. 2019. Lien
  • Je code : quels sont mes droits, quelles sont mes obligations. L. Ammour, A.S. Bonne, P. Moreau, J.M. Schmittbiel, J.C. Souplet. 2019. Lien
  • Je code : les bonnes pratiques en écoconception de service numérique à destination des développeurs de logiciels. C. Bonamy, C. Boudinet, L. Bourgès, K. Dassas, L. Lefèvre, F. Vivat. 2020. Lien