Suivez

la liste

Le CNRS
Fondé en 1939, le Centre national de la recherche scientifique, plus connu sous son sigle CNRS, est le plus grand organisme public français de recherche scientifique. Avec plus de 1 100 laboratoires de recherche, et plus de 600 partenaires, il exerce son activité dans tous les domaines de la connaissance. Acteur majeur de l’innovation en France, le CNRS occupe selon le classement Scimago Institutions Rankings la troisième place au niveau mondial. Il est notamment à l’origine de plus de 2 400 demandes de brevets en 2020.

L’IDRIS
http://www.idris.fr/
L'IDRIS (Institut du Développement et des Ressources en Informatique Scientifique) est le centre de calcul du CNRS pour le calcul numérique intensif de très haute performance (HPC) et l’intelligence artificielle (IA). Il fournit aux laboratoires de recherche et aux startups des ressources de calcul et contribue à la recherche dans le domaine de l’IA.
L’IDRIS exploite le supercalculateur Jean Zay. Capable d’effectuer 36 millions de milliards
d’opérations par seconde (pétaflops) avec ses 89 832 cœurs CPU et ses 3 152 GPU (V100 et A100), il a déjà permis aux chercheurs de participer à la lutte contre la COVID-19, de modéliser l’évolution du climat pour le rapport du GIEC, d'entraîner une intelligence artificielle pour battre les meilleurs joueurs internationaux de bridge ou encore d’entraîner BLOOM, un des plus gros modèles de langage existant.
Dans ce contexte, l’optimisation des modèles de Deep Learning est un enjeu majeur pour les
communautés de recherche académique et industrielle.

Offre de stage

Contexte : L’application et l’optimisation des codes d’entraînement des modèles de Deep Learning sur le supercalculateur Jean Zay sont essentielles à l’avancement de la recherche des laboratoires et des startups.

Objectifs :

Au sein de l’équipe support aux utilisateurs en Intelligence Artificielle de l’IDRIS :

  1. Contribuer à la mission de veille technologique de l'équipe IA de l'IDRIS
  2. Tester les outils récents (Colossal-AI, Megatron-DeepSpeed...) de développement de système de Deep Learning à grande échelle (centaines de GPU) sur des cas concrets (Transformers, Diffusion Models...)
  3. Développer des benchmarks en Deep Learning évaluant le modèle, le hardware et les outils utilisés (Pytorch/TensorFlow...)

Profil recherché : De bonnes connaissances des méthodes de Deep Learning ainsi que du framework Pytorch seront nécessaires. Des connaissances en Linux et Tensorflow seront appréciées.

Contact : hatim.bourfoune@idris.fr

Durée : 3-6 mois
Temps plein (35h), du lundi au vendredi.

Lieu : Site de l’IDRIS (Rue John Von Neumann 91400 Orsay), accessible en voiture ou en transports en commun

Gratification : 4,05 € / h, soit environ 614,26 € / mois.

À noter que la signature de la convention sera soumise à une demande d’autorisation auprès de la Direction de la Sûreté du CNRS