extreme data

Storage for High Performance Computing

Stockage pour le calcul haute performance

Face à des volumes de données qui croissent constamment, alimentés par les nouvelles sources d’information de notre monde connecté, gérer des Pétaoctets de données est devenu un vrai défi. S’appuyant sur sa longue expérience de la mise en oeuvre réussie de solutions de gestion de données massives, basées sur des technologies multiples, Atos propose désormais non seulement des solutions sur mesure, mais également Bull Director for HPSS, le premier élément d’une gamme de logiciels Bull dédiés au stockage pour le calcul haute performance.

Bull Director for HPSS : la solution maline pour doper les performances de HPSS >>
METEO FRANCE “extreme data en action pour le traitement massif de données” >>
Université de Warwick “extreme data en action pour l’analyse massive de données” >>

Bull Director for HPSS : la solution maline pour doper les performances de HPSS

Alors que les jeux de données qui se mesurent en centaines de Teraoctets, voire même en Pétaoctets, deviennent courants, les solutions de stockage hiérarchisé (HSM – Hierarchical Storage Management) deviennent un rouage essentiel des systèmes de gestion intensive de données. Le HSM est une technique de stockage de données qui permet de déplacer automatiquement les données entre les supports de stockage haute performance à coût élevé et les supports de stockage d’entrée de gamme, moins chers et offrant une capacité de stockage supérieure. Pour optimiser les coûts, les systèmes de HSM stockent les données sur des supports lents et économiques tels que des bibliothèques sur bandes robotisées, et copient les données sur des disques plus rapides dès qu’elles doivent être utilisées pour des calculs.

HPSS (High Performance Storage System) est un système de HSM né d’une collaboration entre IBM Global Business Services et 5 laboratoires américains du DOE, récemment rejoints par le CEA/DAM français. Atos a une longue expérience de la mise en oeuvre de HPSS dans des environnements difficiles, dans lesquels la conservation à long terme et la réutilisation de jeux de données massifs sont essentielles. Atos a développé Bull Director for HPSS afin d’éliminer certains des goulots d’étranglement de HPSS. Bull Director for HPSS est un add-on à ce système de HSM. Il améliore les performances globales de HPSS pour les bibliothèques sur bandes, dans des environnements avec de nombreuses demandes d’accès simultanées, en regroupant en temps réel les demandes simultanées de différents utilisateurs.

Quel est le problème à résoudre ?

Sur les systèmes de calcul de grande taille, les applications sont généralement lancées sous forme de travaux par lots (batch jobs). Autrement dit, les utilisateurs soumettent au système des demandes de ressources, telles qu’un nombre défini de coeurs CPU et une liste de fichiers nécessaires pour mettre en place l’environnement d’exécution, les fichiers d’entrées et une réservation de place pour les fichiers de résultat.

Manipuler des dizaines de Téraoctets et des millions de fichiers

Avec des systèmes dont les performances se mesurent en Téraflops ou en Pétaflops, et selon le type d’applications exécutées, la taille totale d’un jeu de données et le nombre de fichiers utilisés par un lot de travaux peuvent facilement atteindre des dizaines de Téraoctets et des millions de fichiers.

Chaque système est habituellement partagé par plusieurs travaux, afin que les administrateurs l’utilisent au maximum de ses capacités (aussi proche de 100% d’utilisation que possible). Ceci exige beaucoup du système de HSM : il doit, aussi vite que possible, mettre en place le bon environnement ou faire passer un environnement qui n’est plus utilisé sur des supports de niveau inférieurs. Au moment de l’exécution, ces gros volumes de données sont stockés sur des disques rapides, permettant des rotations rapides. Puis, une fois que les applications ont terminé leur exécution, ils doivent être déplacés vers des supports moins chers mais offrant une plus grande capacité de stockage. Ainsi le système HSM peut avoir à gérer soudainement, au début et à la fin des travaux, des millions de demandes de migration de fichiers simultanées pour libérer de l’espace sur les disques rapides, et ce pour chacun des travaux concurrents. Au final, HPSS peut très bien recevoir plusieurs demandes de rappel par lots concernant chacune plus de 10 000 fichiers. Ces demandes vont être traitées séquentiellement, ne laissant pas aux utilisateurs d’autre option que d’attendre la fin des rappels précédents – ce qui peut durer des minutes, voire des heures.

Bull Director for HPSS élimine le goulot d’étranglement au niveau de la file d’attente des rappels

METEO FRANCE “extreme data en action pour le traitement massif de données”

METEO FRANCE

L’amélioration constante des prévisions météorologiques et des prévisions climatiques est une priorité absolue pour METEO FRANCE. Leur objectif est d’accélérer le processus de prévision, de mieux prévoir les phénomènes locaux dangereux et de mieux anticiper les changements climatiques et leurs répercussions. Les améliorations récentes sont le fruit à la fois d’un plus grand nombre d’observations et de l’utilisation de modèles plus précis, ce qui n’est possible que grâce à l’utilisation de supercalculateurs de nouvelle génération, ainsi qu’à une nouvelle architecture permettant de gérer et de traiter des jeux de données très volumineux.

Voir le LIVRE BLANC (en anglais) >>

Université de Warwick “extreme data en action pour l’analyse massive de données”

Université de Warwick

L’Université de Warwick a développé, en partenariat avec Atos, un projet dédié aux “sciences urbaines” (urban science) permettant d’évaluer toutes les possibilités d’amélioration de la qualité et des performances des services urbains.

L’Université de Warwick a un partenariat avec le Centre d’Urbanisme de New York et collabore avec d’autres universités prestigieuses telles que l’Université de New York, la City University de New York, l’Université Carnegie Mellon, l’Université de Toronto et l’Institut de Technologie de Bombay.

L’Université de Warwick s’est associé à Atos pour mettre au point un système ayant des capacités Big Data exceptionnelles, afin d’assurer le traitement et l’analyse de données à très grande échelle, et ainsi de pouvoir fournir de nouveaux services d’urbanisme, depuis les évaluations immobilières basées sur des données réelles jusqu’à l’analyse des parkings pour la planification urbaine, en passant par l’analyse des déplacements des habitants, le contrôle des épidémies, la gestion de la circulation, la navigation coopérative, l’évaluation de la qualité des routes, l’analyse prédictive pour la maintenance des véhicules, ou la cybersécurité. D’autres services sont en cours d’évaluation. Atos a livré la plateforme matérielle à base de serveurs HPC bullx, et travaille avec l’Université de Warwick à la mise en oeuvre d’analyses de données très volumineuses et d’analyses de flux continus de données. L’utilisation d’accélérateurs et de services d’analyse in-memory est également en cours d’étude.