L’écart de performance est important : Les bases de données structurées peuvent supporter des taux de transaction très élevés dans des environnements optimisés, tandis que les architectures de stockage traditionnelles ne peuvent souvent pas alimenter les pipelines de données d’AI suffisamment rapidement, laissant les GPU inactifs.
Les données semi-structurées comme JSON et XML relient ces mondes à des marqueurs organisationnels, mais sans schémas rigides, faisant de JSON l’une des API modernes les plus courantes.
Types et exemples de données non structurées
Chaque service d’une entreprise génère des données non structurées, et comprendre ces types de données vous aide à planifier des stratégies de stockage efficaces. Examinons certains types de données non structurées.
Les supports enrichis dominent la capacité. Par exemple, une caméra de sécurité 4K peut consommer environ 6,75 Go de stockage par heure d’enregistrement continu. Un seul examen IRM peut générer entre 500MB et 1GB de données. Les systèmes de santé qui traitent des milliers de lectures quotidiennes sont confrontés à des exigences de bande passante considérables que le stockage traditionnel ne peut pas gérer.
Les documents commerciaux tels que les contrats, les recherches et les rapports financiers contiennent votre propriété intellectuelle. Le défi n’est pas seulement de les stocker, mais aussi de permettre une recherche instantanée sur des millions de fichiers tout en assurant la conformité.
L’IoT et les flux de données des capteurs se font en continu, créant d’énormes volumes de données. Les appareils IoT devraient générer environ 90 zettaoctets de données en 2025. Les véhicules autonomes génèrent 4TB par véhicule et par jour grâce aux caméras, au LIDAR et au radar.
Les ensembles de données d’entraînement AI exigent des données non structurées massives et des performances sans précédent. Les modèles de langage volumineux s’entraînent sur des centaines de téraoctets. La vision par ordinateur peut nécessiter l’accès aléatoire à des millions d’images à des vitesses que le stockage traditionnel ne peut pas fournir.
Pourquoi la gestion des données non structurées est difficile
L’évolutivité va au-delà des approches traditionnelles. Lorsque vous atteignez des pétaoctets, les structures de répertoire contenant des millions de fichiers peuvent devenir ingérables. Les fenêtres de sauvegarde peuvent dépasser 24 heures et les opérations de recherche peuvent expirer. Les choses qui fonctionnaient à l’échelle du gigaoctet échouent souvent à l’échelle du pétaoctet.
Volume et variété. Les données non structurées se présentent sous différents formats et proviennent de plusieurs sources, ce qui rend difficile leur gestion et leur analyse efficaces. Les entreprises doivent investir dans un stockage de données robuste, comme Everpure™ FlashBlade®, qui a été conçu pour gérer les données non structurées, et dans une infrastructure d’analytique pour gérer le volume et la variété des données non structurées.
Exigences de performance plus exigeantes. L’ancienne hypothèse était que les données non structurées restaient froides, rarement accessibles, adaptées à un stockage économique et lent. En réalité, les données « froides » sont souvent consultées fréquemment. Les charges de travail d’AI ont besoin d’un accès aléatoire à l’ensemble des ensembles de données. Lorsque les audits de conformité exigent des e-mails de sept ans, la différence entre 2GB/s et 75GB/s peut déterminer si cela prend des heures ou des jours.
Accès multiprotocole. Dans la plupart des organisations actuelles, l’accès multiprotocole n’est plus facultatif, car les scientifiques des données écrivent des ensembles de données à l’aide de S3, les ingénieurs traitent via NFS et les analystes utilisent SMB. La création de copies distinctes pour chaque perte de capacité et crée des problèmes de synchronisation. Les plateformes qui présentent simultanément les mêmes données dans tous les protocoles sont essentielles.
Préjugés et équité. L’analyse des données non structurées peut perpétuer par inadvertance les biais présents dans les données, entraînant des résultats déloyaux ou discriminatoires. Pour cette raison, il est extrêmement important de traiter les biais dans la collecte de données, le prétraitement et la prise de décisions algorithmiques pour garantir l’équité et l’équité.
Qualité et véracité des données. Les données non structurées sont intrinsèquement bruyantes et peuvent contenir des erreurs, des incohérences ou des informations trompeuses. Il est essentiel de garantir la qualité et la véracité des données pour obtenir des informations fiables et prendre des décisions éclairées. Cela nécessite des processus de nettoyage, de validation et de vérification minutieux pour identifier et corriger les inexactitudes dans les données.
Conformité réglementaire. Face à l’accent croissant mis sur les réglementations sur la confidentialité et la protection des données telles que le RGPD, le CCPA et l’HIPAA, les organisations doivent respecter des exigences de conformité strictes lorsqu’elles collectent, stockent et traitent des données non structurées. Le non-respect de ces réglementations peut entraîner de lourdes amendes, des atteintes à la réputation et des conséquences juridiques.
L’hypothèse de « données froides » peut entraîner des compromis coûteux. De nombreuses organisations mettent en œuvre des stratégies de hiérarchisation complexes qui déplacent constamment les données entre les niveaux de performance. Lorsque l’entraînement AI nécessite des données historiques ou qu’une reprise après un Ransomware dépend de sauvegardes plus anciennes, la récupération à partir de niveaux froids peut entraîner des retards importants. Dans certains environnements, l’effort de gestion de ces niveaux — politiques, migrations et dépannage — peut dépasser le coût de la conservation d’un plus grand nombre de données sur un stockage plus performant.
Solutions modernes pour les données non structurées
Le stockage est passé de « stocker et oublier » à « stocker et accélérer ». Les plateformes modernes doivent offrir à la fois capacité et performance, et non l’une ou l’autre.
Le stockage d’objets n’est plus réservé aux archives. Les magasins d’objets traditionnels présentaient souvent une latence de quelques dizaines à quelques centaines de millisecondes, mais les plateformes modernes peuvent offrir une latence inférieure à la milliseconde et un débit beaucoup plus élevé, suffisamment rapide pour de nombreuses charges de travail de stockage primaires et pour réduire le besoin de couches de mise en cache complexes.
Les systèmes de fichiers et les magasins d’objets convergent vers des plateformes unifiées. Vous pouvez écrire via NFS et lire immédiatement via S3. Pas de migration, pas de copies, pas d’attente.
Pourquoi la hiérarchisation ne fonctionne pas
Le modèle chaud/froid du secteur du stockage suppose des schémas d’accès prévisibles. Mais les modèles d’AI, par exemple, peuvent nécessiter des images datant de cinq ans. Les audits de conformité nécessitent un accès immédiat aux e-mails archivés. Vos données « froides » ne sont pas froides.
Le transfert de 100TB entre les niveaux peut prendre des heures, parfois même des jours. Les administrateurs consacrent beaucoup de temps à la gestion des politiques. Ajoutez les coûts d’infrastructure, et la hiérarchisation coûte souvent plus cher qu’un stockage rapide unifié.
L’économie du stockage flash a considérablement évolué. Les baies 100 % flash modernes offrent un débit considérablement supérieur à celui des systèmes sur disque, et la technologie flash a suffisamment chuté pour que les coûts de capacité se trouvent dans le même stade pour de nombreuses charges de travail. Si l’on tient compte de la complexité liée à la réduction de l’énergie, de l’espace et de la hiérarchisation, le 100 % flash présente souvent un Total Cost of Ownership inférieur à celui des modèles hybrides ou à disques uniquement.
Données non structurées dans l’AI et le Machine Learning
L’AI peut extraire une valeur significative des données non structurées, mais uniquement si les pipelines de stockage et de données sous-jacents peuvent maintenir les GPU constamment alimentés en données. De nombreuses entreprises utilisent moins de 30 % des GPU graphiques, ce qui les rend inactifs et les laisse en attente de données.
L’entraînement de grands modèles implique un streaming et un remaniement répétés de très grands ensembles de données, ce qui exige un débit élevé et durable que de nombreuses architectures de stockage traditionnelles n’ont pas été conçues pour fournir. L’amélioration de l’utilisation efficace des GPU graphiques permet d’obtenir des calculs nettement plus utiles à partir d’un cluster fixe, ce qui réduit le besoin de processeurs graphiques supplémentaires, réduit les cycles d’entraînement de plusieurs semaines à plusieurs jours et améliore le délai de mise sur le marché et l’économie globale.
Bonnes pratiques pour la gestion des données non structurées
Voici quelques bonnes pratiques à prendre en compte :
- Commencez par les performances, pas seulement la capacité. Traitez les données non structurées comme une charge de travail critique, pas comme des « fichiers ». Définissez d’emblée les taux d’ingestion, le débit et la latence requis. Un pipeline génomique qui a besoin de 50GB/s nécessite une architecture fondamentalement différente de celle des archives d’e-mails à long terme.
- Minimisez les niveaux. Les stratégies de hiérarchisation complexes permettent rarement de réaliser des économies qui justifient leurs frais d’exploitation. Un niveau unique et constamment haute performance simplifie les opérations, améliore la prévisibilité et permet aux équipes de se concentrer sur les applications plutôt que sur la gestion des politiques et des niveaux.
- Une conception adaptée à l’AI. Même si l’AI n’est pas une exigence actuelle, supposez qu’elle le sera. Un stockage qui ne peut pas fournir des dizaines de gigaoctets par seconde et par GPU devient une contrainte lorsque vous introduisez un entraînement à grande échelle ou une inférence à haut débit. La planification dès maintenant vous aidera à éviter les mises à niveau coûteuses plus tard.
- Ingénieur pour une croissance soutenue. Supposons une croissance annuelle d’au moins 60 % des données non structurées. Optez pour une extension transparente, des 100TB actuels aux 160TB de l’année prochaine et au-delà, sans migrations disruptives ni mises à niveau titanesques.
- Intégrez la sécurité dès la conception. Le chiffrement, le contrôle d’accès granulaire, les snapshots immuables et la journalisation d’audit complète doivent être des fonctionnalités natives de la plateforme, et non des composants complémentaires. Cela permet de réduire les risques, de simplifier la conformité et de renforcer votre posture de sécurité globale.
Feuille de route de mise en œuvre
La transformation de la gestion des données non structurées nécessite une feuille de route de mise en œuvre :
- Évaluation : Mesurez le débit réel, pas les spécifications du fournisseur. Documentez la durée des sauvegardes, de l’analytique et de la formation. Cartographier les données qui se déplacent d’un système à l’autre. Calculez les coûts réels, y compris l’alimentation et le temps de travail du personnel.
- Pilote : Commencez par votre charge de travail la plus exigeante : formation AI, analytique ou génomique. Migrez-la vers une plateforme unifiée. Mesurez l’amélioration de l’utilisation des GPU graphiques ou la vitesse des requêtes pour élaborer votre analyse de rentabilité.
- Consolider : Éliminez les NAS et les silos d’objets séparés. Concentrez-vous sur les ensembles de données accessibles via plusieurs protocoles. Vous réduirez le stockage grâce à la déduplication tout en éliminant les retards de synchronisation.
- Élargir : Étendez les hautes performances à davantage de charges de travail, y compris les archives et les sauvegardes. Lorsque toutes les données fonctionnent à une vitesse constante, les distinctions artificielles disparaissent. Les applications s’exécutent de manière prévisible. Les utilisateurs sont plus satisfaits. Le service informatique cesse de gérer les migrations.
Comment Everpure résout les défis liés aux données non structurées
Les organisations doivent faire face à trois exigences critiques en matière de gestion des données non structurées : accès multiprotocole unifié, haute performance constante et évolutivité transparente. FlashBlade répond à chacune de ces exigences grâce à une architecture spécialement conçue.
Accès multiprotocole unifié
FlashBlade permet un accès partagé aux données via plusieurs protocoles — NFS, SMB, S3 et HTTP — simultanément, réduisant ainsi les besoins en capacité de stockage et éliminant le besoin de silos de stockage et de conversions de protocoles distincts.
Haute performance constante
Contrairement aux systèmes de stockage traditionnels qui forcent le choix entre capacité et performance, FlashBlade est conçu pour offrir un débit élevé et une faible latence sur une large gamme de charges de travail non structurées, des ensembles de travail « à chaud » aux grands ensembles de données historiques. Les modules DirectFlash® améliorent les performances des clusters GPU et l’utilisation des GPU graphiques.
Évolutivité transparente
FlashBlade évolue de dizaines de téraoctets à plusieurs pétaoctets dans un seul espace de nom, sans interruption. Au fur et à mesure que vous ajoutez des lames, la capacité et les performances augmentent de manière linéaire, prenant en charge efficacement des milliards de fichiers sans les limitations de répertoire et les difficultés de rééquilibrage de nombreuses architectures NAS traditionnelles.
