Cosa sono i dati non strutturati?

Secondo una stima, nel 2025 la creazione di dati a livello globale ha raggiunto 181 zettabyte. Circa l'80-90% dei dati mondiali è classificato come non strutturato. A differenza dei dati strutturati archiviati ordinatamente nei database, i dati non strutturati come e-mail, video, documenti, output dei sensori e set di dati di formazione AI richiedono architetture di storage e gestione specializzate.

I dati non strutturati costituiscono la maggior parte delle informazioni aziendali e crescono del 55% all'anno. Tuttavia, la maggior parte delle organizzazioni può elaborarlo solo a una velocità inferiore a quella richiesta dai workload moderni. Questo enorme volume di e-mail, video, documenti, dati dei sensori e set di formazione sull'AI è diventato sia la più grande opportunità che la più grande sfida per i team IT.

I dati non strutturati sono informazioni che non rientrano in un modello o schema di dati predefinito. Invece di trovarsi in righe e colonne di database ordinatamente organizzate, rimangono nei suoi formati nativi: PDF, post sui social media, flussi di sensori IoT, immagini mediche e altro ancora. 

I sistemi di storage tradizionali, tuttavia, spesso offrono solo una parte del throughput richiesto dai moderni workload di AI, lasciando le GPU affamate di dati invece di svolgere un lavoro utile. Poiché la maggior parte dei dati "freddi" non è strutturata e viene consultata più frequentemente del previsto, può rapidamente esporre le inefficienze e i costi nascosti delle strategie di storage a più livelli.

L'evoluzione del data storage non strutturato

Il data storage non strutturato è iniziato negli anni '90, quando le organizzazioni hanno digitalizzato documenti, immagini e supporti che non potevano essere inseriti nei database tradizionali. I primi file server e sistemi NAS hanno avuto difficoltà a far fronte all'aumento dei volumi di dati. 

Gli anni 2000 hanno visto l'introduzione dell'object storage, in particolare con Amazon S3 nel 2006, che ha introdotto una nuova architettura utilizzando namespace e metadati piatti, consentendo miliardi di file. Questa innovazione ha reso possibile lo storage cloud e ha cambiato le strategie di conservazione dei dati. Inizialmente, l'object storage sacrificava le performance in termini di capacità, portando le organizzazioni a utilizzare file system separati a performance elevate per i workload attivi e gli object storage per gli archivi. 

L'ascesa dell'AI e del Machine Learning negli anni 2010 ha rivelato i limiti di questo approccio, spingendo lo sviluppo di piattaforme unificate a performance elevate che risolvono il compromesso tra capacità e performance.

Dati non strutturati e non strutturati

La distinzione tra questi tipi di dati determina fondamentalmente l'architettura storage. I dati strutturati si inseriscono in schemi predefiniti, come i record dei clienti in un CRM, in cui ogni voce ha campi specifici. Questa prevedibilità consente alle query SQL di recuperare informazioni esatte in millisecondi.

I dati non strutturati non seguono queste regole. I file video contengono frame, tracce audio e metadati che non si inseriscono nei campi del database. I thread delle e-mail combinano testo, allegati e formattazione in schemi complessi che richiedono approcci diversi.

Il divario di performance è importante: I database strutturati possono sostenere tassi di transazione molto elevati in ambienti ottimizzati, mentre le architetture di storage legacy spesso non riescono a fornire pipeline di dati AI abbastanza rapidamente, lasciando le GPU inattive.

I dati semi-strutturati come JSON e XML collegano questi mondi con indicatori organizzativi ma senza schemi rigidi, rendendo JSON una delle API moderne più comuni.

Tipi ed esempi di dati non strutturati

Ogni reparto di un'azienda genera dati non strutturati e la comprensione di questi tipi aiuta a pianificare strategie di storage efficaci. Vediamo alcuni tipi di dati non strutturati.

I rich media dominano la capacità. Ad esempio, una telecamera di sicurezza 4K può consumare circa 6,75 GB di storage per ora di registrazione continua. Una singola scansione RM può generare da 500MB a 1GB di dati. I sistemi sanitari che elaborano migliaia di scansioni ogni giorno devono far fronte a enormi requisiti di larghezza di banda che lo storage tradizionale non è in grado di gestire.

I documenti aziendali come contratti, ricerche e report finanziari contengono la tua proprietà intellettuale. La sfida non è solo archiviarli, ma anche consentire la ricerca istantanea tra milioni di file, mantenendo al contempo la conformità.

IoT dati IoT e dei sensori vengono trasmessi continuamente, creando enormi volumi di dati. Si prevedeva che i dispositivi IoT generassero circa 90 zettabyte di dati nel 2025. I veicoli autonomi generano 4TB per veicolo al giorno da telecamere, LIDAR e radar. 

AI set di dati di training AI richiedono enormi dati non strutturati e performance senza precedenti. I modelli di linguaggio di grandi dimensioni si allenano su centinaia di terabyte. La computer vision può richiedere l'accesso casuale di milioni di immagini a velocità che lo storage tradizionale non è in grado di fornire.

Perché la gestione dei dati non strutturati è difficile

La scalabilità rompe gli approcci tradizionali. Una volta raggiunti i petabyte, le strutture di directory con milioni di file possono diventare ingestibili. Le finestre di backup possono estendersi oltre le 24 ore e le operazioni di ricerca potrebbero scadere. Le cose che hanno funzionato su scala gigabyte spesso falliscono su scala petabyte.

Volume e varietà. I dati non strutturati vengono forniti in vari formati e da più origini, rendendo difficile la gestione e l'analisi efficaci. Le aziende devono investire in un solido data storage, come Everpure™ FlashBlade®, progettato per gestire i dati non strutturati, e un'infrastruttura di analytics per gestire l'enorme volume e la varietà dei dati non strutturati.

Requisiti di performance più esigenti. Il vecchio presupposto era che i dati non strutturati rimanessero freddi, raramente accessibili, adatti per uno storage lento e conveniente. In realtà, i dati "freddi" sono spesso accessibili di frequente. I workload AI richiedono un accesso casuale a interi dataset. Quando gli audit di conformità richiedono e-mail di sette anni fa, la differenza tra 2GB/s e 75GB/s può determinare se sono necessarie ore o giorni.

Accesso multiprotocollo. Nella maggior parte delle organizzazioni di oggi, l'accesso multiprotocollo non è più opzionale, poiché i data scientist scrivono dataset utilizzando S3, gli ingegneri elaborano tramite NFS e gli analisti utilizzano SMB. La creazione di copie separate per ogni capacità spreca e crea problemi di sincronizzazione. Le piattaforme che presentano contemporaneamente gli stessi dati attraverso tutti i protocolli sono cruciali.

Pregiudizio e correttezza. L'analisi dei dati non strutturati può inavvertitamente perpetuare i pregiudizi presenti nei dati, portando a risultati sleali o discriminatori. Per questo motivo, è estremamente importante affrontare i pregiudizi nella raccolta dei dati, nella pre-elaborazione e nel processo decisionale algoritmico per garantire equità ed equità.

Qualità e veridicità dei dati. I dati non strutturati sono intrinsecamente rumorosi e possono contenere errori, incoerenze o informazioni fuorvianti. Garantire la qualità e la veridicità dei dati è fondamentale per ottenere informazioni approfondite e prendere decisioni informate. Ciò richiede processi di pulizia, convalida e verifica dei dati accurati per identificare e correggere le imprecisioni nei dati.

Conformità normativa. Con la crescente attenzione alle normative sulla privacy e la protezione dei dati come GDPR, CCPA e HIPAA, le organizzazioni devono rispettare rigorosi requisiti di conformità quando raccolgono, archiviano ed elaborano dati non strutturati. Il mancato rispetto di queste normative può comportare pesanti sanzioni, danni alla reputazione e conseguenze legali.

L'ipotesi di "dati freddi" può portare a costosi compromessi. Molte organizzazioni implementano complesse strategie di tiering che spostano costantemente i dati tra i livelli di performance. Quando l'addestramento AI richiede dati storici o il ripristino dal Ransomware dipende dai backup più vecchi, il recupero dai livelli freddi può causare ritardi significativi. In alcuni ambienti, lo sforzo di gestire questi tier, ovvero policy, migrazioni e risoluzione dei problemi, può superare il costo di conservare più dati in uno storage a performance più elevate.

Soluzioni moderne per i dati non strutturati

Lo storage si è evoluto da "store and forget" a "store and accelerate". Le piattaforme moderne devono offrire capacità e performance, non una o l'altra.

L'object storage non è più solo per gli archivi. Gli object store tradizionali spesso presentavano latenza compresa tra decine e centinaia di millisecondi, ma le piattaforme moderne possono fornire una latenza inferiore al millisecondo e una velocità di trasmissione molto più elevata, abbastanza veloce per molti workload di storage primario e per ridurre la necessità di livelli di caching complessi.

I file system e gli object storage stanno convergendo in piattaforme unificate. Puoi scrivere tramite NFS e leggere immediatamente tramite S3. Nessuna migrazione, nessuna copia, nessuna attesa.

Perché il tiering non funziona

Il modello caldo-caldo-freddo del settore dello storage presuppone schemi di accesso prevedibili. Ma i modelli di AI, ad esempio, potrebbero avere bisogno di immagini vecchie di cinque anni. Gli audit di conformità richiedono l'accesso immediato alle e-mail archiviate. I tuoi dati "freddi" non sono freddi.

Il passaggio di 100TB da un tier all'altro può richiedere ore, a volte anche giorni. Gli amministratori dedicano molto tempo alla gestione delle policy. Aggiungete i costi dell'infrastruttura e il tiering spesso costa più dello storage rapido unificato.

L'economia flash è cambiata drasticamente. I moderni array all-flash offrono una velocità di trasmissione superiore di un ordine di grandezza rispetto ai sistemi basati su disco e la memoria flash da $/GB è scesa a un livello tale che i costi di capacità sono nello stesso momento per molti workload. Quando si considera la minore complessità in termini di potenza, spazio e tiering, l'all-flash spesso comporta un Total Cost of Ownership inferiore rispetto ai design ibridi o solo su disco. 

Dati non strutturati in AI e Machine Learning

L'AI può estrarre un valore significativo dai dati non strutturati, ma solo se lo storage sottostante e le pipeline dei dati possono mantenere le GPU costantemente alimentate con i dati. Molte organizzazioni ottengono un GPU utilizzo inferiore al 30%, lasciando le costose GPU inattive e in attesa dei dati.

L'addestramento di modelli di grandi dimensioni comporta ripetutamente lo streaming e il rimodellamento di dataset di grandi dimensioni, che richiedono una velocità di trasmissione elevata e sostenuta che molte architetture di storage legacy non erano progettate per fornire. Il miglioramento dell'utilizzo efficace della GPU consente di ottenere un calcolo notevolmente più utile da un cluster fisso, riducendo la necessità di GPU aggiuntive, riducendo i cicli di addestramento da settimane a giorni e migliorando il time-to-market e l'economia complessiva.

Best practice per la gestione dei dati non strutturati

Ecco alcune best practice da considerare: 

• Inizia con le performance, non solo con la capacità. Tratta i dati non strutturati come un workload critico, non come "solo file". Definire in anticipo i tassi di acquisizione, la velocità di trasmissione e la latenza richiesti. Una pipeline di genomica che richiede 50GB/s richiede un'architettura sostanzialmente diversa dagli archivi e-mail a lungo termine.
• Riduci al minimo i livelli. Le complesse strategie di tiering raramente offrono risparmi che giustificano il loro overhead operativo. Un unico tier a performance costantemente elevate semplifica le operazioni, migliora la prevedibilità e consente ai team di concentrarsi sulle applicazioni invece che sulla gestione di policy e tier.
• Progetta per la preparazione all'AI. Anche se l'AI non è un requisito attuale, supponiamo che lo sia. Lo storage che non è in grado di fornire decine di gigabyte al secondo per GPU diventerà un vincolo quando introduci l'addestramento su larga scala o l'inferenza ad alta velocità di trasmissione. Pianificare ora ti aiuterà a evitare costosi retrofit in un secondo momento.
• Ingegnere per una crescita sostenuta. Si supponga una crescita annuale di almeno il 60% nei dati non strutturati. Progetta per un'espansione fluida, dai 100TB attuali ai 160TB e oltre, senza migrazioni disruptive o forklift upgrade.
• Integra la sicurezza fin dalla progettazione. La crittografia, il controllo granulare degli accessi, le snapshot immutabili e la registrazione completa degli audit devono essere funzionalità native della piattaforma, non componenti imbullonati. Questo aiuta a ridurre i rischi, semplificare la conformità e rafforzare il tuo livello di sicurezza complessivo.

Roadmap di implementazione

La trasformazione della gestione dei dati non strutturati richiede una roadmap di implementazione:

• Valutazione: Misura il throughput effettivo, non le specifiche del vendor. Documenta il tempo impiegato da backup, analytics e formazione. Mappa quali dati si spostano tra i sistemi. Calcola i costi reali, compresi i costi energetici e il tempo del personale.
• Pilota: Inizia con il tuo workload più esigente: formazione AI, analytics o genomica. Esegui la migrazione a una piattaforma unificata. Misura il miglioramento dell'utilizzo della GPU o la velocità delle query per creare il tuo business case.
• Consolida: Elimina i silos di oggetti e NAS separati. Concentrati sui set di dati accessibili tramite più protocolli. Ridurrai lo storage grazie alla deduplica ed eliminerai i ritardi di sincronizzazione.
• Espandi: Estendi le performance elevate a un maggior numero di workload, inclusi archivi e backup. Quando tutti i dati funzionano a una velocità costante, le distinzioni artificiali scompaiono. Le applicazioni vengono eseguite in modo prevedibile. Gli utenti sono più felici. L'IT smette di gestire le migrazioni.

In che modo Everpure risolve le sfide dei dati non strutturati

Le organizzazioni devono affrontare tre requisiti cruciali per la gestione dei dati non strutturati: accesso multiprotocollo unificato, performance elevate costanti e scalabilità trasparente. FlashBlade soddisfa ciascuno di questi requisiti con un'architettura appositamente progettata.

Accesso multiprotocollo unificato

FlashBlade consente l'accesso condiviso ai dati attraverso più protocolli, NFS, SMB, S3 e HTTP, riducendo al contempo le esigenze di capacità di storage ed eliminando la necessità di silos di storage e conversioni di protocolli separati.

Performance elevate costanti

A differenza dei sistemi di storage tradizionali che impongono una scelta tra capacità e performance, FlashBlade è progettato per fornire velocità di trasmissione elevate e bassa latenza in un'ampia gamma di workload non strutturati, dai set di lavoro "a caldo" ai set di dati storici di grandi dimensioni. I moduli DirectFlash® migliorano le performance dei cluster GPU, aumentando l'utilizzo della GPU.

Scalabilità fluida

FlashBlade è scalabile da decine di terabyte a più petabyte in un unico namespace senza downtime. Man mano che si aggiungono blade, sia la capacità che le performance aumentano in modo lineare, supportando in modo efficiente miliardi di file senza i limiti delle directory e ribilanciando le sfide di molte architetture NAS legacy.

Conclusione

I dati non strutturati si sono evoluti da una sfida di storage a un driver di innovazione e ora comprendono la maggior parte dei dati organizzativi. Gli approcci tradizionali falliscono quando l'AI richiede un throughput elevato e quando la maggior parte dei dati "freddi" viene consultata più frequentemente del previsto.

Le architetture moderne che unificano l'accesso a file e oggetti e allo stesso tempo forniscono performance elevate costanti possono trasformare i dati non strutturati da un onere a un vantaggio. Quando lo storage offre performance elevate e bassa latenza, l'utilizzo della GPU aumenta e il training AI accelera.

Il percorso da seguire è chiaro: Valuta le tue performance attuali, pilotale con workload esigenti, consolida i silos di protocolli e poi estende le performance elevate a un maggior numero di workload. Le organizzazioni che adottano architetture unificate a performance elevate si posizionano per sfruttare l'AI invece di limitarsi a parlarne.

Everpure ha aiutato le organizzazioni a realizzare questa trasformazione con FlashBlade, una piattaforma unificata di file e oggetti che offre le performance, la scalabilità e la semplicità richieste dai moderni dati non strutturati.