ESPRI-IA – Ressources

Liste des clusters GPU

Mise à jour le 23 novembre 2020, cette liste est à l’intention des utilisateurs du Machine Learning nécessitant des moyens de calculs accélérés par GPU.

Nom clusterCentreTiersMatériel (config par nœud)Liens
HALIPSL/LATMOS/OVSQ/24 nœuds : 2 Xeon (4c@2,6GHz), 2 Nvidia RTX 2080 TI 11Gosite, conditions d’accès, ouverture compte, doc
Mésocentres régionaux2Dépendant du centresite
CCIN2P3plateforme GPUIN2P31– 10 nœuds : 2 Xeon E5-2640v3 (8c@2.6 GHz), 128 Go RAM, 2  Nvidia Tesla K80 12 Go- 6 nœuds : 2 Xeon Silver 4114 (10c@2.2 GHz), 192 Go RAM, 4 NVidia Tesla V100 32 Gosite, conditions d’accèsdoc
Irene V100TGCC132 nœuds : 2 Intel Cascade Lake (20c@2.1 GHz), 4 NVidia Tesla V100 16 Gosite, conditions d’accès (GENCI), obtention d’accès (eDARI), doc
Jean Zay partition GPUIDRIS1– 351 nœuds : 2 Intel Cascade Lake 6248 (20c@2.5 GHz), 192 Go RAM, 4 NVidia Tesla V100 16 Go- 261 nœuds : 2 Intel Cascade Lake 6248 (20c@2.5 GHz), 192 Go RAM, 4 NVidia Tesla V100 32 Go- 20 nœuds : 2 Intel Cascade Lake 6226 (12c@2.7 GHz), 384 Go RAM, 8 NVidia Tesla V100 32 Go- 11 nœuds : 2 Intel Cascade Lake 6226 (12c@2.7 GHz), 768 Go RAM, 8 NVidia Tesla V100 32 Gosite, conditions d’accès (GENCI), obtention d’accès (eDARI), doc
PRACECentres européens partenaires0Dépendant du centresite, deep learning best practice

Groupe ESPRI-IA Gitlab IN2P3

Cette section est un guide d’utilisation du groupe Gitlab ESPRI-IA sur le serveur de l’IN2P3 (lien).

Politique d’accès Gitlab

L’ensemble des membres des laboratoires de l’IPSL et de la fédération IPSL (pour faire court IPSL) ont un accès au groupe nommé IPSL de l’instance Gitlab de l’IN2P3. Pour info, un groupe est un répertoire contenant des groupes ou des dépôts Git.

Gitlab distingue deux concepts : d’une part, la visibilité des dépôts et groupes, et d’autre part, les permissions des utilisateurs vis-à-vis de ces groupes et dépôts. La visibilité gère l’autorisation d’accès aux dépôts et aux groupes (le clonage, l’affichage de ces items, etc.). Les permissions autorisent les actions possibles des utilisateurs sur ces dépôts et groupes (créer des issues, merge, création de branches, etc.). Elles sont regroupées en rôle (owner, developer, maintainer, etc.). Les groupes et dépôts sont associés à un ensemble d’utilisateurs Gitlab : les membres de ces groupes et dépôts. Ces utilisateurs ont tous un rôle (guest par défaut).

La visibilité d’un groupe ou d’un dépôt se décline en trois niveaux :

  • Public : tout le monde a accès, même les personnes non authentifiées auprès de l’instance de Gitlab. C’est l’accès internet.
  • Internal : les personnes possédant un compte sur le Gitlab de l’IN2P3. C’est l’accès authentifié.
  • Private : seuls les membres choisis ont accès. C’est l’accès membre.

La visibilité d’un groupe est restreinte par celle de son groupe parent. Le niveau private contraint les sous-groupes et dépôts au niveau private. Le niveau internal les contraint aux niveaux private ou internal. Le niveau public ne pose pas de contrainte. Ainsi le groupe ESPRI-IA a la visibilité public afin de permettre à ses sous groupes ou dépôts d’avoir la visibilité public. Bien entendu, les responsables de dépôts sont libres de choisir la visibilité de leurs dépôts et sous groupes.

Actuellement le rôle d’administrateur est attribué à S. Gardoll et G. Levavasseur. Les rôles seront accordés aux membres d’ESPRI-IA sur demande.

Nature des dépôts

  • Cours et exemples de codes de Machine Learning
  • Bibliothèques (libraries) réutilisables pour les projets ML
  • Projets IA propre à ESPRI-IA ou projets IA n’ayant pas d’autre rattachement
  • Documentations et pages web d’ESPRI-IA

Organisation des sous-groupes

Arborescence :

Root
|____ IPSL
       |____ ESPRI
               |____ ESPRI-IA
                       |
                       |___ Documents (site web d'ESPRI-IA, cours, exemples de code)
                       |
                       |___ Projects (projets d'ESPRI-IA, bibliothèques)

Séminaires

Vous trouverez ici tous les séminaires d’ESPRI-IA. Les futurs séminaires sont toujours annoncés sur le site de l’IPSL à cette adresse. ESPRI-IA vous invite également à suivre les séminaires organisés par son partenaire AI4Climate, à cette adresse.

  • Présentation de HAL, le cluster GPU OVSQ/LATMOS/IPSL, Yann Delcambre et Sébastien Gardoll, le 26/05/2020

Ce webinaire présente le cluster de calculs HAL dédiés au Machine Learning et plus particulièrement au Deep Learning. Il est également fait une courte introduction au Machine Learning et au calcul GPU à l’intention des débutant·es. Les slides sont accessibles à cette adresse et la vidéo du webinaire à celle-ci.

Ressources documentaires

Vous trouverez ici des liens vers des formations, supports de cours, tutoriels et articles sur le thème de l’IA et plus particulièrement du Machine Learning.

Formations IPSL

Les formations en ligne libres et gratuites de l’IPSL sur le Machine Learning proposées par Fouad Badran, Cécile Mallet, Awa Niang et Sylvie Thiria. Ces formations traitent, notamment :

Livres

  • Deep Learning de Ian Goodfellow and Yoshua Bengio et Aaron Courville (lien du livre)

L’inventeur du Generative Adversarial Networks nous offre une précieuse référence dans le domaine du Deep Learning, utile autant aux étudiant·es qu’aux chevronnés du Deep Learning.

Fiches pratiques en ingénierie logicielle (DevLOG)

  • Je code : les bonnes pratiques de développement logiciel. L. Ammour, O. Cappé, T. Chaventre, K. Dassas, M. Dexet, P. Moreau, C. Mouton, J.C. Souplet. 2019. Lien
  • Je code : les bonnes pratiques de diffusion. L. Ammour, K. Barral, P. Moreau, S. Nicoud, J.C. Souplet. 2019. Lien
  • Je code : quels sont mes droits, quelles sont mes obligations. L. Ammour, A.S. Bonne, P. Moreau, J.M. Schmittbiel, J.C. Souplet. 2019. Lien
  • Je code : les bonnes pratiques en écoconception de service numérique à destination des développeurs de logiciels. C. Bonamy, C. Boudinet, L. Bourgès, K. Dassas, L. Lefèvre, F. Vivat. 2020. Lien

Agrégateur d’articles Machine Learning

L’agrégateur est une base documentaire proposant un moteur de recherche pour vous aider à trouver tutoriels, cours et billets de blogs, et à assurer votre veille technologique. Il reçoit en continue les articles techniques de différents sites traitant du Machine Learning depuis fin octobre 2020. Il est accessible à cette page.