Suivez

la liste

Au sein de l’équipe du Centre de Calcul, la ou le stagiaire participera à la mise en œuvre du nouveau socle de stockage des données scientifiques (Datalake) du CNES basé sur une solution object (type cloud).

Ce projet Datalake est mené en interface forte avec les différents projets spatiaux mobilisant de gros volumes de données (tant internes que externes) afin de les accompagner dans l'appropriation des nouvelles fonctions de gestion de données (Accès temps Réel, Stockage Glacier asynchrone, pilotage de règles de transition, recherche par métadonnée)

Ce stage s'inscrit donc dans un environnement de travail collaboratif entre les équipes de calcul, les projets spatiaux et les laboratoires partenaires.

Objectifs du stage :

  • Étude de la compatibilité des librairies de données utilisées dans un contexte "segment sol spatial" (NetCDF, GDAL, MapServer,...) avec l'API S3
  • Portage d'un traitement simple de données "images satellite" utilisant actuellement le stockage POSIX vers du stockage S3
  • Analyse des performances en fonction du format de données (exemple : JPEG2000 versus Cloud Optimized GeoTIFF)
  • Test de performance lors du passage à l'échelle pour accéder à de gros volumes de données (Big Data)
  • Rédaction d'une documentation et préconisations de bonnes pratiques

La finalité du stage est de livrer un ensemble de routines et d'informations facilitant l'intégration des segments sols avec le Datalake

Le stage peut débuter à partir de février 2022.
Pour postuler :
https://recrutement.cnes.fr/fr/annonce/1418993-utilisation-du-stockage-objet-pour-des-donnees-geospatiales-31400-toulouse