O que são dados não estruturados?

De acordo com uma estimativa, a criação global de dados foi projetada para atingir surpreendentes 181 zettabytes em 2025. Aproximadamente 80% a 90% dos dados mundiais são classificados como não estruturados. Diferentemente dos dados estruturados armazenados perfeitamente em bancos de dados, dados não estruturados, como e-mails, vídeos, documentos, saídas de sensores e conjuntos de dados de treinamento de AI, exigem arquiteturas especializadas de armazenamento e gerenciamento.

Os dados não estruturados abrangem a maioria das informações corporativas e estão crescendo 55% anualmente. No entanto, a maioria das organizações só pode processá-lo em uma fração da velocidade que as cargas de trabalho modernas exigem. Esse grande volume de e-mails, vídeos, documentos, dados de sensores e conjuntos de treinamento de AI tornou-se a maior oportunidade e desafio para as equipes de TI.

Dados não estruturados são quaisquer informações que não se encaixam em um modelo ou esquema de dados predefinidos. Em vez de viver em linhas e colunas organizadas de banco de dados, ele permanece em seus formatos nativos: PDFs, publicações em redes sociais, fluxos de sensores IoT, imagens médicas e muito mais. 

Os sistemas de armazenamento tradicionais, no entanto, muitas vezes fornecem apenas uma fração da taxa de transferência que as cargas de trabalho de AI modernas exigem, deixando as GPUs sem dados em vez de fazer um trabalho útil. Como a maioria dos dados “frios” não é estruturada e é acessada com mais frequência do que o planejado, ela pode expor rapidamente as ineficiências e os custos ocultos das estratégias de armazenamento em camadas.

A evolução do armazenamento de dados não estruturados

O armazenamento de dados não estruturados começou na década de 1990, quando as organizações digitalizavam documentos, imagens e mídia que não se encaixavam em bancos de dados tradicionais. Servidores de arquivos e sistemas NAS iniciais tiveram dificuldades com o aumento do volume de dados. 

Os anos 2000 viram o advento do armazenamento de objetos, principalmente com o Amazon S3 em 2006, que introduziu uma nova arquitetura usando namespaces e metadados simples, permitindo bilhões de arquivos. Essa inovação tornou o armazenamento em nuvem viável e mudou as estratégias de retenção de dados. Inicialmente, o armazenamento de objetos sacrificou o desempenho pela capacidade, levando as organizações a usar sistemas de arquivos de alto desempenho separados para cargas de trabalho ativas e armazenamentos de objetos para arquivos. 

A ascensão da AI e do Machine Learning de máquina na década de 2010 revelou as limitações dessa abordagem, impulsionando o desenvolvimento de plataformas unificadas e de alto desempenho que abordam a desvantagem da capacidade de desempenho.

Dados não estruturados x estruturados

A distinção entre esses tipos de dados molda fundamentalmente a arquitetura de armazenamento. Os dados estruturados se encaixam em esquemas predefinidos, como registros de clientes em um CRM, onde cada entrada tem campos específicos. Essa previsibilidade permite que as consultas SQL recuperem informações exatas em milissegundos.

Os dados não estruturados não seguem essas regras. Os arquivos de vídeo contêm quadros, faixas de áudio e metadados que não se encaixam em campos de bancos de dados. Os threads de e-mail combinam texto, anexos e formatação em padrões complexos que exigem abordagens diferentes.

A lacuna de desempenho é importante: Os bancos de dados estruturados podem manter taxas de transação muito altas em ambientes otimizados, enquanto as arquiteturas de armazenamento legadas muitas vezes não conseguem alimentar fluxos de dados de AI com rapidez suficiente, deixando as GPUs inativas.

Dados semiestruturados, como JSON e XML, unem esses mundos a marcadores organizacionais, mas sem esquemas rígidos, tornando a JSON uma das APIs modernas mais comuns.

Tipos e exemplos de dados não estruturados

Cada departamento de uma empresa gera dados não estruturados, e entender esses tipos ajuda a planejar estratégias de armazenamento eficazes. Vejamos alguns tipos de dados não estruturados.

A mídia avançada domina a capacidade. Por exemplo, uma câmera de segurança 4K pode consumir cerca de 6,75 GB de armazenamento por hora de gravação contínua. Um único exame de RM pode gerar de 500MB a 1GB de dados. Os sistemas de assistência médica que processam milhares de varreduras diariamente enfrentam requisitos de largura de banda massivos que o armazenamento tradicional não consegue lidar.

Documentos de negócios, como contratos, pesquisas e relatórios financeiros, contêm sua propriedade intelectual. O desafio não é apenas armazená-los, mas permitir a pesquisa instantânea em milhões de arquivos enquanto mantém a conformidade.

Fluxos de dados de IoT e sensores continuamente, criando grandes volumes de dados. Os dispositivos IoT foram projetados para gerar cerca de 90 zettabytes de dados em 2025. Veículos autônomos geram 4TB por veículo por dia a partir de câmeras, LIDAR e radar. 

Os conjuntos de dados de treinamento de AI exigem dados não estruturados massivos e desempenho sem precedentes. Modelos grandes de linguagem treinam em centenas de terabytes. A visão computacional pode precisar de milhões de imagens acessadas aleatoriamente em velocidades que o armazenamento tradicional não consegue oferecer.

Por que gerenciar dados não estruturados é desafiador

A expansão quebra as abordagens tradicionais. Depois de atingir petabytes, as estruturas de diretório com milhões de arquivos podem se tornar incontroláveis. As janelas de backup podem se estender além de 24 horas, e as operações de pesquisa podem expirar. As coisas que funcionavam na escala de gigabytes muitas vezes falham na escala de petabytes.

Volume e variedade. Os dados não estruturados vêm em vários formatos e de várias fontes, dificultando o gerenciamento e a análise com eficácia. As empresas devem investir em um armazenamento de dados robusto, como o Everpure e o FlashBlade®, que foi desenvolvido para lidar com dados não estruturados, e em uma infraestrutura de análise para lidar com o grande volume e a variedade de dados não estruturados.

Requisitos de desempenho mais exigentes. A suposição antiga era de que os dados não estruturados ficavam frios, raramente acessados, adequados para armazenamento lento e barato. A realidade é que os dados “frios” frequentemente são acessados com frequência. As cargas de trabalho de AI precisam de acesso aleatório a conjuntos de dados inteiros. Quando auditorias de conformidade exigem e-mails de sete anos imediatamente, a diferença entre 2GB/s e 75GB/s pode determinar se leva horas ou dias.

Acesso a vários protocolos. Na maioria das organizações, o acesso a vários protocolos não é mais opcional, pois os cientistas de dados gravam conjuntos de dados usando o S3, os engenheiros processam por meio do NFS e os analistas usam SMB. Criar cópias separadas para cada desperdício de capacidade e criar problemas de sincronização. Plataformas que apresentam os mesmos dados em todos os protocolos simultaneamente são essenciais.

Viés e justiça. A análise de dados não estruturados pode inadvertidamente perpetuar vieses presentes nos dados, levando a resultados injustos ou discriminatórios. Por esse motivo, é extremamente importante abordar os vieses na coleta de dados, no pré-processamento e na tomada de decisões algorítmicas para garantir justiça e equidade.

Qualidade e veracidade dos dados. Os dados não estruturados são inerentemente ruidosos e podem conter erros, inconsistências ou informações enganosas. Garantir a qualidade e a veracidade dos dados é crucial para obter insights confiáveis e tomar decisões embasadas. Isso requer processos cuidadosos de limpeza, validação e verificação de dados para identificar e corrigir imprecisões nos dados.

Conformidade regulatória. Com o foco cada vez maior em regulamentos de privacidade e proteção de dados, como GDPR, CCPA e HIPAA, as organizações devem aderir a requisitos rigorosos de conformidade ao coletar, armazenar e processar dados não estruturados. O não cumprimento dessas regulamentações pode resultar em multas pesadas, danos à reputação e consequências legais.

A suposição de “dados frios” pode levar a compensações caras. Muitas organizações implementam estratégias complexas de camadas que movem constantemente os dados entre os níveis de desempenho. Quando o treinamento de AI exige dados históricos ou a recuperação de um Ransomware depende de backups mais antigos, a recuperação de camadas frias pode causar atrasos significativos. Em alguns ambientes, o esforço para gerenciar essas camadas, políticas, migrações e solução de problemas, pode exceder o custo de manter mais dados em armazenamento de alto desempenho.

Soluções modernas para dados não estruturados

O armazenamento evoluiu de "armazenar e esquecer" para "armazenar e acelerar". As plataformas modernas devem oferecer capacidade e desempenho, e não uma ou outra.

O armazenamento de objetos não é mais apenas para arquivos. Os armazenamentos de objetos tradicionais muitas vezes tinham latência entre dezenas e centenas de milissegundos, mas as plataformas modernas podem fornecer latência inferior a milissegundos e taxa de transferência muito maior, rápido o suficiente para muitas cargas de trabalho de armazenamento primário e para reduzir a necessidade de camadas de armazenamento em cache complexas.

Os sistemas de arquivos e os armazenamentos de objetos estão convergindo em plataformas unificadas. Você pode gravar via NFS e ler imediatamente via S3. Sem migração, sem cópias, sem espera.

Por que o hierarquização não funciona

O modelo frio e quente do setor de armazenamento assume padrões de acesso previsíveis. Mas os modelos de AI, por exemplo, podem precisar de imagens de cinco anos. As auditorias de conformidade exigem acesso imediato a e-mails arquivados. Seus dados "frios" não estão frios.

Mover 100TB entre camadas pode levar horas, às vezes até dias. Os administradores gastam muito tempo gerenciando políticas. Adicione os custos de infraestrutura e o armazenamento em camadas geralmente custa mais do que o armazenamento rápido unificado.

A economia do flash mudou drasticamente. Os arrays modernos totalmente flash oferecem uma ordem de grandeza mais taxa de transferência do que os sistemas baseados em disco, e o flash $/GB caiu o suficiente para que os custos de capacidade estejam no mesmo estádio para muitas cargas de trabalho. Quando você leva em consideração menos complexidades de energia, espaço e camadas, o armazenamento totalmente flash geralmente tem um Total Cost of Ownership menor do que os designs híbridos ou somente em discos. 

Dados não estruturados em AI e Machine Learning

A AI pode extrair valor significativo de dados não estruturados, mas apenas se os fluxos de dados e armazenamento subjacentes puderem manter as GPUs consistentemente alimentadas com dados. Muitas organizações obtêm menos de 30% de utilização de GPU, deixando GPUs caras inativas, aguardando dados.

O treinamento de modelos grandes envolve transmissão e reorganização repetidas de conjuntos de dados muito grandes, o que exige alta taxa de transferência sustentada que muitas arquiteturas de armazenamento legadas não foram projetadas para fornecer. Melhorar a utilização eficaz da GPU desbloqueia a computação substancialmente mais útil de um cluster fixo, reduzindo a necessidade de GPUs adicionais, reduzindo os ciclos de treinamento de semanas para dias e melhorando o tempo de lançamento do produto no mercado e a economia geral.

Práticas recomendadas para gerenciamento de dados não estruturados

Aqui estão algumas práticas recomendadas a serem consideradas: 

• Comece com desempenho, não apenas capacidade. Trate os dados não estruturados como uma carga de trabalho crítica, não apenas como “arquivos”. Defina as taxas de ingestão, taxa de transferência e latência necessárias antecipadamente. Um fluxo de genômica que precisa de 50GB/s exige uma arquitetura fundamentalmente diferente dos arquivos de e-mail de longo prazo.
• Minimize camadas. Estratégias complexas de camadas raramente oferecem economias que justificam sua sobrecarga operacional. Uma única camada de alto desempenho simplifica as operações, melhora a previsibilidade e permite que as equipes se concentrem em aplicativos em vez de gerenciamento de políticas e camadas.
• Projete para prontidão de AI. Mesmo que a AI não seja um requisito atual, suponha que seja. O armazenamento que não pode fornecer dezenas de gigabytes por segundo por GPU se tornará uma restrição quando você introduzir treinamento em larga escala ou inferência de alta taxa de transferência. Planejar agora ajudará você a evitar adaptações caras mais tarde.
• Engenheiro para crescimento sustentado. Suponha pelo menos 60% de crescimento anual em dados não estruturados. Arquitetete para expansão contínua, dos 100TB atuais aos 160TB do próximo ano e além, sem migrações disruptivas ou atualizações forklift.
• Integre a segurança por design. Criptografia, controle de acesso granular, snapshots imutáveis e registro de auditoria abrangente devem ser recursos nativos da plataforma, não componentes integrados. Isso ajuda a reduzir riscos, simplificar a conformidade e fortalecer sua postura geral de segurança.

Roteiro de implementação

A transformação do gerenciamento de dados não estruturados requer um roteiro de implementação:

• Avaliação: Meça a taxa de transferência real, não as especificações do fornecedor. Documente quanto tempo demoram os backups, a análise e o treinamento. Mapeie quais dados se movem entre sistemas. Calcule os custos reais, incluindo energia e tempo da equipe.
• Piloto: Comece com sua carga de trabalho mais exigente: treinamento, análise ou genômica de AI artificial. Migre-o para uma plataforma unificada. Meça a melhoria na utilização da GPU ou na velocidade da consulta para criar seu business case.
• Consolide: Elimine silos separados de NAS e objetos. Concentre-se em conjuntos de dados acessados por meio de vários protocolos. Você reduzirá o armazenamento por meio da desduplicação enquanto elimina atrasos de sincronização.
• Expanda: Amplie o alto desempenho para mais cargas de trabalho, incluindo arquivos e backups. Quando todos os dados operam a uma velocidade uniforme, as distinções artificiais desaparecem. Os aplicativos são executados de maneira previsível. Os usuários ficam mais satisfeitos. A TI para de gerenciar migrações.

Como o Everpure lida com desafios de dados não estruturados

As organizações enfrentam três requisitos críticos ao gerenciar dados não estruturados: acesso unificado a vários protocolos, alto desempenho uniforme e escalabilidade contínua. O FlashBlade atende a cada um desses requisitos com uma arquitetura específica.

Acesso unificado a vários protocolos

O FlashBlade permite acesso compartilhado aos dados por meio de vários protocolos, como NFS, SMB, S3 e HTTP, simultaneamente, reduzindo as necessidades de capacidade de armazenamento e eliminando a necessidade de silos de armazenamento e conversões de protocolo separados.

Alto desempenho uniforme

Ao contrário dos sistemas de armazenamento tradicionais que forçam a escolha entre capacidade e desempenho, o FlashBlade foi desenvolvido para oferecer alta taxa de transferência e baixa latência em uma ampla gama de cargas de trabalho não estruturadas, desde conjuntos de trabalho “quentes” até grandes conjuntos de dados históricos. Os módulos DirectFlash® melhoram o desempenho do cluster de GPU, aumentando a utilização da GPU.

Escalabilidade contínua

O FlashBlade expande de dezenas de terabytes para vários petabytes em um único namespace sem tempo de inatividade. À medida que você adiciona blades, a capacidade e o desempenho aumentam linearmente, dando suporte eficiente a bilhões de arquivos sem as limitações de diretório e desafios de reequilíbrio de muitas arquiteturas NAS legadas.

Conclusão

Os dados não estruturados evoluíram de um desafio de armazenamento para um motivador de inovação e agora abrangem a maioria dos dados organizacionais. As abordagens tradicionais falham quando a AI exige alta taxa de transferência e quando a maioria dos dados "frios" é acessada com mais frequência do que o planejado.

Arquiteturas modernas que unificam o acesso a arquivos e objetos enquanto oferecem alto desempenho uniforme podem transformar dados não estruturados de uma carga em uma vantagem. Quando o armazenamento oferece alto desempenho e baixa latência, a utilização da GPU aumenta e o treinamento de AI acelera.

O caminho a seguir é claro: Avalie seu desempenho atual, teste-piloto com cargas de trabalho exigentes, consolide silos de protocolo e estenda o alto desempenho para mais cargas de trabalho. As organizações que adotam arquiteturas unificadas e de alto desempenho se posicionam para aproveitar a AI em vez de apenas falar sobre ela.

O Everpure ajudou as organizações a alcançar essa transformação com o FlashBlade, uma plataforma unificada e rápida de arquivos e objetos que oferece as demandas de dados não estruturados modernos de desempenho, escala e simplicidade.