O que é governança de AI?

Governança de AI é o conjunto de políticas, estruturas e mecanismos de supervisão que garantem que o sistema de Artificial Intelligence seja desenvolvido, implantado e monitorado de maneira segura, ética e compatível com as regulamentações aplicáveis. Para organizações que expandem a AI em operações comerciais, a governança determina se esses sistemas criam confiança ou apresentam risco descontrolado.

As apostas são altas. Agora, a AI influencia as decisões de contratação, as aprovações de crédito, os diagnósticos médicos e as operações da cadeia de fornecimento, e cada um desses aplicativos tem o potencial de sofrer vieses, violações de privacidade ou falhas diretas. Sem governança estruturada, as organizações se expõem a penalidades regulatórias, danos à reputação e interrupções operacionais que podem minar os benefícios que a AI deveria oferecer.

Este artigo explica o que envolve a governança da AI, por que ela é importante, as principais estruturas que a moldam e como as organizações podem implementar programas de governança que equilibram inovação e responsabilidade.

A ascensão da governança da AI

A governança da AI como uma disciplina formal surgiu da interseção entre governança de dados, ética corporativa e pressão regulatória. Suas raízes remontam ao início dos anos 2010, quando os modelos de Machine Learning começaram a influenciar decisões consequentes em finanças, assistência médica e justiça criminal, muitas vezes sem supervisão significativa.

Várias falhas de alto perfil aceleraram a demanda por governança. O viés algorítmico em ferramentas de condenação criminal, algoritmos de contratação discriminatória e chatbots que produziram saídas tóxicas demonstrou o que acontece quando a AI opera sem barreiras de proteção. Esses incidentes levaram governos e grupos do setor a agir.

A Organização para a Cooperação e Desenvolvimento Econômico (OCDE) publicou seus princípios de AI em maio de 2019, estabelecendo o primeiro benchmark intergovernamental para inteligência AI responsável. Hoje, 47 países adotaram esses princípios. No mesmo ano, a Comissão Europeia seguiu as diretrizes de ética para AI confiável. Em 2024, a UE adotou a Lei da AI, a primeira legislação abrangente específica de AI do mundo. Nos Estados Unidos, o National Institute of Standards and Technology (NIST) lançou sua Estrutura de gerenciamento de riscos de AI em janeiro de 2023, fornecendo um padrão voluntário, mas amplamente adotado.

Hoje em dia, a governança da AI passou da discussão teórica para um requisito operacional. As organizações que antes a tratavam como opcional agora a reconhecem como fundamental para expandir a AI com segurança.

Principais componentes de uma estrutura de governança de AI

Uma estrutura de governança de inteligência AI eficaz opera durante todo o ciclo de vida da AI, desde a coleta de dados e o treinamento de modelos até a implantação, o monitoramento e a desativação. Embora as estruturas específicas variem, a maioria compartilha vários componentes principais.

Políticas e padrões

A governança começa com políticas documentadas que definem o uso aceitável da AI em uma organização. Essas políticas abordam o manuseio de dados, práticas de desenvolvimento de modelos, requisitos de teste, fluxos de trabalho de aprovação e restrições a aplicativos de alto risco. Sem padrões escritos, a governança se torna inconsistente e inaplicável.

Políticas eficazes também definem funções e responsabilidades. Eles especificam quem aprova novos projetos de AI, quem monitora modelos implantados e quem é responsável quando algo dá errado.

Avaliação e classificação de riscos

Nem todos os sistemas de AI apresentam o mesmo risco. Um mecanismo de recomendação para sugestões de produtos apresenta preocupações diferentes de um algoritmo que aprova solicitações de hipoteca. As estruturas de governança classificam os sistemas de AI por nível de risco e aplicam supervisão proporcional.

A Lei de AI da UE formaliza isso por meio de quatro camadas de risco:

• Risco inaceitável: Aplicativos de AI proibidos completamente, como sistemas de pontuação social e vigilância biométrica em tempo real em espaços públicos
• Alto risco: Sistemas que afetam a saúde, a segurança ou os direitos fundamentais, sujeitos a avaliações obrigatórias de conformidade, gerenciamento de riscos e supervisão humana
• Risco limitado: Aplicativos com obrigações específicas de transparência, como chatbots, que devem divulgar que são capacitados por AI
• Risco mínimo: Sistemas de baixo risco sem requisitos adicionais além da lei existente

Estruturas de responsabilidade

A governança exige propriedade clara. Na maioria das organizações corporativas, a responsabilidade abrange várias funções: O CEO e a liderança sênior definem a direção estratégica, as equipes jurídica e de conformidade avaliam a exposição regulatória, as equipes de ciência de dados gerenciam o desempenho do modelo e as funções de auditoria validam que os controles funcionam como pretendido.

De acordo com uma pesquisa da PwC, 56% dos executivos relataram que equipes de primeira linha, como TI, engenharia, dados e AI, agora lideram esforços responsáveis de AI, refletindo uma mudança de apenas alguns anos atrás, quando a governança de AI passou por lacunas organizacionais.

Monitoramento e melhoria contínua

Os modelos de AI não são estáticos. Eles se desviam conforme os padrões de dados recebidos mudam, produzindo resultados que divergem de sua intenção original. As estruturas de governança exigem monitoramento contínuo para tendências, redução da precisão, vulnerabilidades de segurança e desvios de conformidade.

Esse monitoramento deve ser automatizado para expandir. As avaliações manuais não conseguem acompanhar o ritmo das organizações executando centenas ou milhares de modelos em ambientes de produção.

Governança de AI vs. governança de dados

Governança de AI e governança de dados estão relacionadas, mas disciplinas distintas. Confundir os dois leva a lacunas que nenhum programa cobre adequadamente.

A governança de dados é um pré-requisito para a governança da AI. Você não pode controlar a AI com responsabilidade sem primeiro controlar os dados que ela consome. Mas a governança da AI se estende ainda mais, abordando os riscos exclusivos da tomada de decisão algorítmica, da opacidade do modelo e do comportamento do sistema autônomo que a governança de dados sozinha não cobre.

Principais estruturas e padrões regulatórios

O cenário regulatório da governança de AI está evoluindo rapidamente, com várias estruturas agora moldando como as organizações desenvolvem e implantam sistemas de AI.

Lei de AI da UE

A Lei de AI da UE é a legislação específica de AI mais abrangente do mundo. Adotado em 2024, ele adota uma abordagem baseada em riscos, classificando os sistemas de AI em quatro camadas com requisitos crescentes. Os sistemas de alto risco enfrentam avaliações obrigatórias de conformidade, documentação técnica, monitoramento pós-venda e obrigações de supervisão humana.

As penalidades podem ser significativas: até € 35 milhões ou 7% do volume de negócios anual global para as violações mais graves. A lei entrou em vigor em 1.o de agosto de 2024, com aplicabilidade total para sistemas de alto risco até agosto de 2026.

Estrutura de gerenciamento de riscos de AI do NIST (AI RMF, NIST AI Risk Management Framework)

O NIST AI RMF, lançado em janeiro de 2023, oferece uma estrutura voluntária e flexível desenvolvida em torno de quatro funções principais: 

1. Governo: Estabelecendo responsabilidade e cultura
2. Mapa: Entender o contexto e os riscos 
3. Medida: Avaliação e acompanhamento de riscos
4. Gerenciar: Priorizar e agir em relação aos riscos 

A estrutura se tornou o padrão de fato para organizações sediadas nos EUA que criam programas de governança de AI.

ISO 42001

A ISO/IEC 42001, publicada em dezembro de 2023, é a primeira norma internacional para sistemas de gerenciamento de AI. Ela estabelece requisitos para que as organizações desenvolvam, implementem, mantenham e melhorem um sistema de gerenciamento de AI. A certificação em relação à ISO 42001 fornece um benchmark reconhecido para a maturidade da governança de AI.

Regulamentos específicos do setor

Além das estruturas horizontais, as regras específicas do setor adicionam requisitos adicionais:

• Serviços financeiros: A orientação SR 11-7 do Federal Reserve dos EUA exige gerenciamento de risco de modelo para todos os modelos usados em bancos, incluindo modelos de AI/ML.
• Assistência médica: As implicações da HIPAA se estendem aos sistemas de AI que processam informações de saúde protegidas (PHI, protected health information), exigindo governança sobre como os dados dos pacientes alimentam os modelos de AI.
• Governo: A Diretiva do Canadá sobre tomada de decisão automatizada exige avaliações de impacto para sistemas de AI usados em serviços do governo federal.

As organizações que operam em várias jurisdições enfrentam a complexidade adicional de conciliar requisitos regulatórios sobrepostos e, às vezes, conflitantes.

Benefícios comerciais da governança de AI

A governança da AI é frequentemente enquadrada como um fardo de conformidade, mas as organizações que a implementam efetivamente percebem um valor comercial tangível.

• Redução de riscos. A governança estruturada identifica falhas de modelo, problemas de viés e vulnerabilidades de segurança antes que elas cheguem à produção ou causem danos. O custo de corrigir uma falha de AI após a implantação, incluindo responsabilidade legal, multas regulatórias e danos à reputação, excede muito o custo dos controles de governança.
• Conformidade regulatória. Com a EU AI Act, o NIST AI RMF e as regulamentações específicas do setor criando requisitos obrigatórios, os programas de governança evitam violações onerosas. A não conformidade apenas com a Lei de AI da UE pode resultar em multas que atingem 7% da receita global.
• Confiança e transparência. Clientes, parceiros e reguladores exigem cada vez mais visibilidade de como os sistemas de AI tomam decisões. Organizações que podem demonstrar capacidade de explicação, testes de justiça e trilhas de auditoria ganham uma vantagem competitiva em processos de aquisição e negociações de parceria.
• Eficiência operacional. A governança padroniza como os projetos de AI são avaliados, aprovados e monitorados, reduzindo esforços redundantes, acelerando os cronogramas de implantação e eliminando a tomada de decisões ad hoc que desacelera as equipes.
• Expansão mais rápida. Organizações com governança madura podem implantar inteligência AI em novos casos de uso mais rapidamente porque as políticas, os processos de revisão e a infraestrutura de monitoramento já estão em vigor. Sem governança, cada novo projeto de AI se torna um exercício único de conformidade.

Como implementar a governança da AI

Implementar a governança da AI não é um projeto único. É um programa contínuo que amadurece com o tempo. Aqui está uma abordagem em fases que se alinha com a forma como a maioria das empresas desenvolve seus recursos de governança.

Fase 1: Avaliação e inventário

Comece catalogando todos os sistemas de AI atualmente em uso ou em desenvolvimento. Muitas organizações ficam surpresas ao descobrir a extensão da adoção da AI entre departamentos, incluindo ferramentas adotadas informalmente por equipes individuais sem supervisão central.

Para cada sistema, documente seu objetivo, os dados que ele consome, quem os possui e as decisões que ele influencia. Esse inventário é a base para a classificação de riscos.

Fase 2: Defina políticas e atribua propriedade

Desenvolva políticas específicas de AI que abrangem uso aceitável, critérios de classificação de risco, requisitos de teste e procedimentos de escalonamento. Atribua propriedade clara em toda a organização: Patrocinadores executivos, líderes de governança, proprietários de modelos e funções de auditoria precisam de funções definidas.

Não comece do zero. Estruturas como o NIST AI RMF fornecem modelos estruturados que as organizações podem adaptar ao contexto específico e à tolerância a riscos.

Fase 3: Implementar controles e ferramentas

Implante os controles técnicos e as ferramentas necessárias para aplicar políticas em grande escala. Isso inclui detecção automatizada de vieses, monitoramento do desempenho do modelo, detecção de desvios, controles de acesso a dados de treinamento e registro de auditoria.

A governança manual não se expande. As organizações que executam mais de um punhado de modelos de AI precisam de ferramentas no nível da plataforma que integrem governança aos fluxos de trabalho de operações de ML existentes.

Fase 4: Monitorar, auditar e repetir

A governança deve ser contínua. Estabeleça cadências regulares de revisão para modelos implantados, incluindo alertas automatizados para degradação de desempenho e desvio de viés. Realize auditorias internas e externas periódicas para verificar se os controles estão funcionando.

À medida que as regulamentações evoluem e os recursos de AI avançam, as estruturas de governança precisam se adaptar. Crie ciclos de revisão em seu programa para atualizar políticas, retreinar partes interessadas e incorporar lições aprendidas com incidentes ou quase acidentes.

Desafios na governança da AI

Até mesmo organizações com recursos adequados podem enfrentar desafios reais na implementação eficaz da governança de AI. Entre elas:

• Equilibrando inovação e controle. A governança excessivamente restritiva pode retardar a adoção da AI artificial e levar as equipes para a AI sombreada, implantando ferramentas fora da supervisão de governança. Programas eficazes encontram o equilíbrio entre velocidade e segurança, aplicando controles mais pesados somente onde o risco exigir.
• Complexidade entre jurisdições. As organizações que operam globalmente devem navegar por diferentes estruturas regulatórias simultaneamente. O que a Lei de AI da UE exige pode diferir das regras específicas do setor dos EUA ou das regulamentações emergentes na Ásia-Pacífico. Harmonizar a conformidade entre regiões requer arquiteturas de governança flexíveis.
• Opacidade do modelo. Muitos modelos avançados de AI, principalmente grandes modelos de linguagem e redes neurais profundas, operam como caixas pretas, dificultando a explicação de como decisões específicas são tomadas. Os programas de governança devem investir em ferramentas de explicabilidade e técnicas de interpretabilidade para resolver essa lacuna.
• Prontidão para talentos e organizações. A governança da AI requer expertise que abranja tecnologia, direito, ética e gerenciamento de riscos. Poucas organizações têm essa combinação internamente. Criar equipes de governança multifuncionais e investir em treinamento são etapas necessárias, mas demoradas.
• Acompanhando o ritmo da evolução da AI. O surgimento da AI agente, sistemas que podem tomar ações autônomas, não apenas gerar recomendações, apresenta desafios de governança que as estruturas existentes não abordam completamente. As organizações precisam de programas de governança que possam evoluir tão rapidamente quanto a própria tecnologia.

O papel da infraestrutura de dados na governança da AI

A governança de AI não existe no vácuo. Depende da infraestrutura de dados subjacente que armazena, protege e fornece os dados que os sistemas de AI consomem.

A integridade dos dados de treinamento afeta diretamente o comportamento do modelo. Se os conjuntos de dados de treinamento contiverem dados imprecisos, tendenciosos ou de origem inadequada, nenhuma quantidade de supervisão algorítmica poderá corrigir os resultados resultantes. A governança começa na camada de armazenamento, garantindo que os dados sejam classificados adequadamente, controlados por acesso, criptografados e retidos de acordo com a política.

O armazenamento imutável desempenha um papel essencial na conformidade da auditoria. As estruturas de governança exigem cada vez mais que as organizações mantenham registros à prova de adulteração de dados de treinamento de modelo, logs de decisão e avaliações de conformidade. Os sistemas de armazenamento que suportam snapshots imutáveis e políticas de gravação única fornecem a base para essas trilhas de auditoria.

Os requisitos de soberania e residência de dados adicionam outra dimensão. Regulamentos como o GDPR e a Lei de AI da UE exigem que determinados dados permaneçam dentro de limites geográficos específicos. A arquitetura de armazenamento deve dar suporte a essas exigências nativamente, não como uma reflexão tardia.

À medida que as cargas de trabalho de AI são dimensionadas, a infraestrutura de armazenamento deve ser dimensionada com elas enquanto mantém os controles de governança que a conformidade exige. É aqui que plataformas de armazenamento desenvolvidas especificamente para cargas de trabalho de AI e análise oferecem uma vantagem clara sobre alternativas de uso geral.

Perspectivas futuras

A governança da inteligência AI se intensificará conforme os recursos de AI se tornam mais autônomos e mais profundamente integrados em operações críticas.

Os sistemas de AI Agentic podem planejar, executar tarefas de várias etapas e interagir com ferramentas externas de forma independente, representando a próxima fronteira para a governança. Esses sistemas exigem mecanismos de supervisão em tempo real que vão além do monitoramento das saídas do modelo para reger as ações e suas consequências posteriores.

A atividade regulatória continuará acelerando globalmente. Países na Ásia-Pacífico, América Latina e Oriente Médio estão desenvolvendo suas próprias estruturas de governança de AI, além da matriz de conformidade que as organizações precisam enfrentar. As organizações que criam programas de governança adaptáveis agora, com políticas flexíveis, monitoramento automatizado e infraestrutura desenvolvida para conformidade, estarão posicionadas para absorver novos requisitos sem reconstrução do zero.

Conclusão

Governança de AI é a disciplina que determina se as organizações podem expandir a AI com responsabilidade mantendo a conformidade, gerenciando riscos e preservando a confiança conforme a adoção acelera. Ele abrange diretivas, estruturas, estruturas de contabilidade e monitoramento contínuo durante todo o ciclo de vida da AI.

Para as empresas, o impacto nos negócios é direto: Organizações com programas de governança maduros reduzem incidentes relacionados à AI, aceleram os cronogramas de implantação e atendem aos requisitos regulatórios que acarretam penalidades financeiras significativas por não conformidade. Conforme regulamentações como a EU AI Act, NIST AI RMF e ISO 42001 passam da orientação para a execução, a governança se torna um requisito competitivo, não um exercício opcional.

A base da governança efetiva da AI começa com a infraestrutura de dados que potencializa as cargas de trabalho de AI. O FlashBlade®) oferecem a base de armazenamento seguro e de alto desempenho que a governança de AI exige, com criptografia integrada, snapshots do SafeMode. Isso garante trilhas de auditoria imutáveis e escalabilidade para dar suporte a cargas de trabalho de AI desde o desenvolvimento até a produção. FlashArray Em conjunto com a infraestrutura pronta para inteligência artificial da AIRI®, o Everpure oferece a infraestrutura que torna a AI artificial responsável alcançável em escala corporativa.