Plan du site  
pixel
pixel

Articles - Étudiants SUPINFO

Le monde changeant du stockage

Par Fayçal SIDI ALI MEBAREK Publié le 03/03/2020 à 18:31:15 Noter cet article:
(0 votes)
Avis favorable du comité de lecture

Le monde du stockage évolue rapidement. Nous disposons de nouvelles technologies passionnantes telles que la mémoire persistante DC d'Intel, ainsi que de nouvelles applications telles que l'apprentissage machine et la chaîne de blocs qui imposent de nouvelles exigences aux systèmes de stockage. Les chercheurs travaillent sur de nouvelles technologies telles que le stockage en verre et le stockage ADN, et ces technologies devraient devenir commercialement viables au cours de la prochaine décennie. C'est une période passionnante pour les chercheurs en stockage !

Nouvelles applications de stockage

Les applications modernes mettent l'accent sur les systèmes de stockage d'une manière nouvelle. Prenons par exemple les modèles de formation par apprentissage machine. Cette charge de travail a un schéma régulier : les mêmes données sont lues à chaque époque (parfois dans un ordre aléatoire), prétraitées, puis utilisées pour la formation. Cependant, la puissance de traitement extrêmement rapide des GPU pose un problème : les données sont consommées beaucoup plus vite qu'elles ne peuvent être récupérées, ce qui laisse les GPU coûteux inutilisés. Des travaux récents comme Quiver et Hoard proposent des systèmes de mise en cache spécifiques à un domaine qui visent à fournir efficacement des données à un groupe de machines formant des modèles d'apprentissage.

Pour donner un autre exemple, les chaînes de blocs telles qu'Ethereum nécessitent un stockage authentifié. Chaque lecture d'une valeur doit renvoyer une preuve indiquant que la valeur est correcte. La prise en charge d'un stockage authentifié est difficile : par exemple, Ethereum utilise la clé de stockage des valeurs RocksDB pour stocker ses données authentifiées, mais cela entraîne une amplification significative de la lecture et de l'écriture. La vérification des transactions d'Ethereum et la création d'un nouveau nœud Ethereum sont bloquées par IO, car elles impliquent la lecture et l'authentification des données dans le chemin critique. Le développement de systèmes de stockage pour des plateformes comme Ethereum est un domaine de recherche actif.

Sur ce blog, Spryos Blanas a parlé de la façon dont les applications de calcul scientifique sont engorgées par les IO plutôt que par les CPU. Les périphériques de stockage sont souvent la partie la plus lente de ces systèmes, et les applications accèdent au stockage selon des schémas non optimaux (par exemple, en effectuant des lectures aléatoires sur des millions de petits objets). L'informatique scientifique semble résoudre ces problèmes en passant des systèmes de fichiers POSIX aux magasins d'objets transactionnels, mais de nombreux problèmes restent ouverts dans ce domaine.

Nouvelles technologies de stockage

Mémoire persistante : En 2019, la mémoire persistante tant attendue est enfin arrivée sur le marché avec l'introduction de la mémoire persistante Intel DC. Cette mémoire de classe stockage a des latences de 2 à 4 fois celles des DRAM tout en offrant une bande passante de 1/6 à 1/3 de celle des DRAM. Ces caractéristiques font que la mémoire persistante est beaucoup plus rapide que les disques durs d'entreprise disponibles aujourd'hui. Il est intéressant de noter que l'accès à la mémoire persistante est similaire à celui de la DRAM, en unités de lignes de cache, plutôt qu'en blocs de 4096 octets utilisés dans les disques durs et les disques durs à semi-conducteurs. La mémoire persistante peut être utilisée soit comme mémoire (donnant l'illusion d'une grande quantité de DRAM), soit comme stockage (sur lequel vous pourriez construire des systèmes de fichiers). L'introduction de la mémoire persistante ouvre un certain nombre de problèmes de recherche intéressants.

Stockage en verre : Glass Storage en anglais. Alors que la mémoire persistante a déjà fait son apparition sur le marché, une technologie qui est à une dizaine d'années de sa commercialisation est le stockage en verre. Microsoft Research travaille avec l'Université de Southampton pour développer cette nouvelle technologie, où les informations sont stockées en utilisant des lasers pour créer de petites nanostructures 3D à l'intérieur d'un bloc de silice fondue. Ce projet est motivé par la quantité croissante de données stockées en ligne - Microsoft Azure a besoin d'un support de stockage moins cher et plus performant que la bande magnétique. Le stockage en verre promet une haute densité (environ 50 To sur un morceau de verre) et une longue durée de vie : les données ne pourrissent pas pendant plus de 1000 ans. L'apprentissage machine est utilisé pour lire et écrire à partir du stockage en verre, et Microsoft travaille à la construction d'un système de stockage de bout en bout utilisant le support en verre. Bien que cette technologie puisse prendre un certain temps avant d'être commercialisée, elle devrait avoir un impact significatif sur la façon dont les systèmes de stockage d'archives sont construits par les fournisseurs de cloud computing.

Stockage ADN : Une technologie encore plus éloignée de la commercialisation que le stockage en verre est le stockage ADN. Microsoft Research et l'Université de Washington à Seattle travaillent sur ce projet, qui vise à cartographier les données dans des séquences de nucléotides d'ADN. Le support de stockage qui en résulte a une densité extrêmement élevée : 1 exabyte par millimètre cube. Les données sont conservées pendant 500 ans. Alors que le stockage ADN offre la plus haute densité de tous les supports de stockage connus, la latence d'accès est élevée, nécessitant des dizaines d'heures à des jours. Pour que le stockage ADN devienne un support de stockage archivistique viable, le problème de la latence d'accès doit être résolu : en général, les utilisateurs souhaitent que leurs données d'archives soient récupérées dans l'ordre de quelques minutes à une heure.

De nouveaux défis pour les architectes et les concepteurs de systèmes

Quels sont les défis posés par ces nouvelles applications et technologies de stockage ? Il est trop tôt pour envisager les défis du stockage ADN et du verre, mais voici quelques-uns des défis de la mémoire persistante :

La frontière entre mémoire et stockage est floue. La mémoire persistante est accessible par des tableaux de pages, comme dans le cas des DRAM. La mise en place de tables de pages est l'un des coûts les plus importants de l'accès à la mémoire permanente. Si les techniques logicielles peuvent aider à retarder ou à amortir ce coût, la résolution fondamentale de ce problème nécessitera une innovation architecturale. La création de pages volumineuses est un autre problème majeur de la mémoire persistante ; les matériels et logiciels actuels rendent difficile l'obtention de pages volumineuses sur un système où la mémoire est constamment allouée et désallouée. La modification de l'architecture pour que les logiciels puissent obtenir de manière fiable des pages énormes aura un impact significatif.

Garantir la fiabilité : Les systèmes de stockage traditionnels sont accessibles via l'interface d'appel système. Cela permet d'intercepter facilement les demandes de lecture et d'écriture. Toutefois, l'accès à la mémoire permanente se fait directement par des instructions de chargement et de stockage (similaires à celles de la DRAM). La question de savoir comment fournir des solutions de fiabilité en plus de la mémoire persistante sans sacrifier les performances reste ouverte.

Mettre en place des systèmes efficaces de bout en bout : Pendant longtemps, la partie la plus lente d'une application ou d'un système de stockage était le stockage lui-même. Avec l'introduction de la mémoire persistante, ce n'est plus le cas : par exemple, les piles de réseau introduisent plus de latence que l'accès au stockage. Les primitives de simultanéité telles que les verrous introduisent une surcharge importante par rapport à la latence d'accès à la mémoire persistante. La réduction de la surcharge de ces autres composants afin que le système de bout en bout puisse tirer parti de la mémoire persistante reste un défi.

Conclusion

Cet article ne couvre pas tous les défis actuels des systèmes de stockage - une telle liste serait d'une longueur prohibitive pour ce format. Mais l'introduction de nouvelles technologies de mémoire et d'archivage ravive l'intérêt pour les systèmes de stockage, et amène les concepteurs et les architectes de systèmes à repenser des hypothèses qui ont tenu pendant des décennies.

Bibliographie

https://www.sigarch.org/the-changing-world-of-storage/

A propos de SUPINFO | Contacts & adresses | Enseigner à SUPINFO | Presse | Conditions d'utilisation & Copyright | Respect de la vie privée | Investir
Logo de la société Cisco, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société IBM, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Sun-Oracle, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Apple, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Sybase, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Novell, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Intel, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Accenture, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société SAP, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Prometric, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo de la société Toeic, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management Logo du IT Academy Program par Microsoft, partenaire pédagogique de SUPINFO, la Grande École de l'informatique, du numérique et du management

SUPINFO International University
Ecole d'Informatique - IT School
École Supérieure d'Informatique de Paris, leader en France
La Grande Ecole de l'informatique, du numérique et du management
Fondée en 1965, reconnue par l'État. Titre Bac+5 certifié au niveau I.
SUPINFO International University is globally operated by EDUCINVEST Belgium - Avenue Louise, 534 - 1050 Brussels