¿Qué es la gobernanza de AI?

La gobernanza de AI es el conjunto de políticas, marcos y mecanismos de supervisión que garantizan que los sistemas de inteligencia artificial se desarrollen, implementen y supervisen de manera segura, ética y que cumplan con las reglamentaciones aplicables. Para las organizaciones que escalan la AI en las operaciones comerciales, la gobernanza determina si esos sistemas generan confianza o introducen riesgos no controlados.

Las apuestas son altas. La AI ahora influye en las decisiones de contratación, las aprobaciones de crédito, los diagnósticos médicos y las operaciones de la cadena de suministro, y cada una de esas aplicaciones tiene el potencial de sesgo, violaciones de privacidad o fracaso absoluto. Sin una gobernanza estructurada, las organizaciones se exponen a sanciones regulatorias, daños a la reputación e interrupciones operativas que pueden socavar los mismos beneficios que la AI debía ofrecer.

Este artículo explica lo que implica la gobernanza de AI, por qué es importante, los principales marcos que lo moldean y cómo las organizaciones pueden implementar programas de gobernanza que equilibren la innovación con la responsabilidad.

El surgimiento de la gobernanza de AI

La gobernanza de AI como disciplina formal surgió de la intersección de la gobernanza de datos, la ética corporativa y la presión regulatoria. Sus raíces se remontan a principios de la década de 2010, cuando los modelos de aprendizaje automático comenzaron a influir en las decisiones emergentes en finanzas, atención médica y justicia penal, a menudo sin una supervisión significativa.

Varias fallas de alto perfil aceleraron la demanda de gobierno. El sesgo algorítmico en las herramientas de sentencia penal, los algoritmos de contratación discriminatoria y los chatbots que produjeron resultados tóxicos demostraron lo que sucede cuando la AI funciona sin barreras. Estos incidentes motivaron a los gobiernos y grupos de la industria a actuar.

La Organización para la Cooperación y el Desarrollo Económicos (OCDE) publicó sus principios de AI en mayo de 2019, estableciendo el primer punto de referencia intergubernamental para la AI responsable. En la actualidad, 47 países han adoptado estos principios. La Comisión Europea siguió con sus pautas de ética para la AI confiable el mismo año. Para 2024, la UE había adoptado la Ley de AI, la primera legislación integral específica de AI del mundo. En los Estados Unidos, el Instituto Nacional de Estándares y Tecnología (National Institute of Standards and Technology, NIST) lanzó su marco de gestión de riesgos de AI en enero de 2023, lo que proporcionó un estándar voluntario pero ampliamente adoptado.

Hoy en día, la gobernanza de AI ha pasado de la discusión teórica a un requisito operativo. Las organizaciones que alguna vez lo consideraron opcional ahora lo reconocen como fundamental para escalar la AI de manera segura.

Componentes centrales de un marco de gobierno de AI

Un marco de gobierno de AI efectivo funciona durante todo el ciclo de vida de la AI, desde la recopilación de datos y el entrenamiento de modelos hasta la implementación, el monitoreo y el retiro. Si bien los marcos específicos varían, la mayoría comparte varios componentes principales.

Políticas y estándares

La gobernanza comienza con políticas documentadas que definen el uso aceptable de la AI dentro de una organización. Estas políticas abordan el manejo de datos, las prácticas de desarrollo de modelos, los requisitos de prueba, los flujos de trabajo de aprobación y las restricciones en las aplicaciones de alto riesgo. Sin estándares escritos, la gobernanza se vuelve inconsistente e inaplicable.

Las políticas efectivas también definen roles y responsabilidades. Especifican quién aprueba los nuevos proyectos de AI, quién monitorea los modelos implementados y quién es responsable cuando algo sale mal.

Evaluación y clasificación de riesgos

No todos los sistemas de AI conllevan el mismo riesgo. Un motor de recomendación para sugerencias de productos plantea diferentes inquietudes que un algoritmo que aprueba solicitudes de hipotecas. Los marcos de gobierno clasifican los sistemas de AI por nivel de riesgo y aplican la supervisión proporcional.

La Ley de AI de la UE formaliza esto a través de cuatro niveles de riesgo:

• Riesgo inaceptable: Las aplicaciones de AI se prohibieron directamente, como los sistemas de puntuación social y la vigilancia biométrica en tiempo real en espacios públicos.
• Alto riesgo: Sistemas que afectan la salud, la seguridad o los derechos fundamentales, sujetos a evaluaciones de conformidad obligatorias, gestión de riesgos y supervisión humana.
• Riesgo limitado: Aplicaciones con obligaciones de transparencia específicas, como chatbots que deben revelar que están impulsadas por AI
• Riesgo mínimo: Sistemas de bajo riesgo sin requisitos adicionales más allá de la ley existente

Estructuras de responsabilidad

La gobernanza requiere una propiedad clara. En la mayoría de las organizaciones empresariales, la responsabilidad abarca varios roles: El CEO y el liderazgo sénior establecen la dirección estratégica, los equipos legales y de cumplimiento evalúan la exposición regulatoria, los equipos de ciencia de datos administran el rendimiento del modelo y las funciones de auditoría validan que los controles funcionen según lo previsto.

Según la investigación de PwC, el 56 % de los ejecutivos informaron que los equipos de primera línea, TI, ingeniería, datos e AI, ahora lideran los esfuerzos responsables de AI, lo que refleja un cambio desde hace solo unos años, cuando la gobernanza de AI cayó a través de las brechas organizacionales.

Monitoreo y mejora continua

Los modelos de AI no son estáticos. Se desvían a medida que cambian los patrones de datos entrantes, produciendo resultados que se desvían de su intención original. Los marcos de gobierno requieren un monitoreo continuo para detectar sesgos, deterioro de la precisión, vulnerabilidades de seguridad y desviaciones de cumplimiento.

Este monitoreo debe automatizarse a escala. Las revisiones manuales no pueden seguir el ritmo de las organizaciones que ejecutan cientos o miles de modelos en entornos de producción.

Gobernanza de AI frente a gobernanza de datos

La gobernanza de AI y la gobernanza de datos están relacionadas, pero son disciplinas distintas. Confundir los dos conduce a brechas que ninguno de los programas cubre adecuadamente.

La gobernanza de datos es un requisito previo para la gobernanza de AI. No se puede controlar la AI de manera responsable sin antes controlar los datos que consume. Pero la gobernanza de AI se extiende aún más, abordando los riesgos únicos de la toma de decisiones algorítmica, la opacidad del modelo y el comportamiento del sistema autónomo que la gobernanza de datos por sí sola no cubre.

Marcos y estándares regulatorios clave

El panorama regulatorio para la gobernanza de AI está evolucionando rápidamente, con varios marcos que ahora dan forma a la forma en que las organizaciones desarrollan e implementan los sistemas de AI.

Ley de AI de la UE

La Ley de AI de la UE es la legislación más integral específica de AI a nivel mundial. Adoptado en 2024, adopta un enfoque basado en el riesgo, clasificando los sistemas de AI en cuatro niveles con requisitos crecientes. Los sistemas de alto riesgo enfrentan evaluaciones de conformidad obligatorias, documentación técnica, monitoreo posterior a la comercialización y obligaciones de supervisión humana.

Las sanciones pueden ser significativas: hasta 35 millones de euros o el 7 % de la facturación anual global por las violaciones más graves. La Ley entró en vigencia el 1 de agosto de 2024, con plena aplicabilidad para sistemas de alto riesgo para agosto de 2026.

Marco de gestión de riesgos de AI (AI RMF) del NIST

El NIST AI RMF, lanzado en enero de 2023, proporciona un marco voluntario y flexible construido en torno a cuatro funciones principales: 

1. Gobierno: Establecer responsabilidad y cultura
2. Mapa: Comprender el contexto y los riesgos 
3. Medida: Evaluación y seguimiento de riesgos
4. Administre: Priorizar y actuar sobre los riesgos 

El marco se ha convertido en el estándar de facto para las organizaciones con sede en los EE. UU. que desarrollan programas de gobierno de AI.

ISO 42001

ISO/IEC 42001, publicado en diciembre de 2023, es la primera norma internacional para sistemas de administración de AI. Establece los requisitos para que las organizaciones desarrollen, implementen, mantengan y mejoren un sistema de administración de AI. La certificación contra ISO 42001 proporciona un punto de referencia reconocido para la madurez de la gobernanza de AI.

Regulaciones específicas del sector

Más allá de los marcos horizontales, las reglas específicas del sector agregan requisitos adicionales:

• Servicios financieros: La guía SR 11-7 de la Reserva Federal de los EE. UU. requiere la administración del riesgo del modelo para todos los modelos utilizados en la banca, incluidos los modelos AI/ML.
• Atención de la salud: Las implicaciones de la HIPAA se extienden a los sistemas de AI que procesan información de salud protegida (PHI), lo que requiere la gobernanza sobre cómo los datos de los pacientes alimentan los modelos de AI.
• Gobierno: La Directiva de Canadá sobre la toma de decisiones automatizada exige evaluaciones de impacto para los sistemas de AI utilizados en los servicios del gobierno federal.

Las organizaciones que operan en varias jurisdicciones enfrentan la complejidad adicional de conciliar los requisitos regulatorios superpuestos y, a veces, conflictivos.

Beneficios comerciales de la gobernanza de AI

La gobernanza de AI a menudo se enmarca como una carga de cumplimiento, pero las organizaciones que la implementan efectivamente obtienen un valor comercial tangible.

• Reducción de riesgos. La gobernanza estructurada detecta fallas de modelos, problemas de sesgo y vulnerabilidades de seguridad antes de que lleguen a la producción o causen daños. El costo de remediar una falla de AI posterior a la implementación, incluida la responsabilidad legal, las multas regulatorias y el daño a la reputación, supera ampliamente el costo de los controles de gobierno.
• Cumplimiento regulatorio. Con la Ley de AI de la UE, el RMF de AI del NIST y las reglamentaciones específicas del sector que crean requisitos obligatorios, los programas de gobierno evitan violaciones costosas. El incumplimiento de la Ley de AI de la UE por sí solo puede dar lugar a multas que alcancen el 7 % de los ingresos globales.
• Confianza y transparencia. Los clientes, socios y reguladores exigen cada vez más visibilidad sobre cómo los sistemas de AI toman decisiones. Las organizaciones que pueden demostrar explicabilidad, pruebas de imparcialidad y pistas de auditoría obtienen una ventaja competitiva en los procesos de adquisición y las negociaciones de asociación.
• Eficiencia operativa. La gobernanza estandariza la forma en que se evalúan, aprueban y monitorean los proyectos de AI, lo que reduce los esfuerzos redundantes, acelera los plazos de implementación y elimina la toma de decisiones ad hoc que ralentiza a los equipos.
• Escalamiento más rápido. Las organizaciones con gobierno maduro pueden implementar la AI en nuevos casos de uso más rápidamente porque las políticas, los procesos de revisión y la infraestructura de monitoreo ya están implementados. Sin gobernanza, cada nuevo proyecto de AI se convierte en un ejercicio de cumplimiento único.

Cómo implementar la gobernanza de AI

Implementar la gobernanza de AI no es un proyecto único. Es un programa continuo que madura con el tiempo. Este es un enfoque por fases que se alinea con la forma en que la mayoría de las organizaciones empresariales desarrollan sus capacidades de gobierno.

Fase 1: Evaluar e inventariar

Comience por catalogar todos los sistemas de AI que están actualmente en uso o en desarrollo. Muchas organizaciones se sorprenden al descubrir el alcance de la adopción de AI entre departamentos, incluidas las herramientas adoptadas de manera informal por equipos individuales sin supervisión central.

Para cada sistema, documente su propósito, los datos que consume, quién es el propietario y las decisiones en las que influye. Este inventario constituye la base para la clasificación de riesgos.

Fase 2: Definir políticas y asignar propiedad

Desarrolle políticas específicas de AI que cubran el uso aceptable, los criterios de clasificación de riesgos, los requisitos de prueba y los procedimientos de escalamiento. Asigne una propiedad clara en toda la organización: Los patrocinadores ejecutivos, los líderes de gobierno, los propietarios de modelos y las funciones de auditoría necesitan roles definidos.

No comience desde cero. Los marcos como el NIST AI RMF proporcionan plantillas estructuradas que las organizaciones pueden adaptar a su contexto específico y tolerancia al riesgo.

Fase 3: Implemente controles y herramientas

Implemente las herramientas y los controles técnicos necesarios para hacer cumplir las políticas a escala. Esto incluye la detección automatizada de sesgos, el monitoreo del rendimiento del modelo, la detección de desviaciones, los controles de acceso a los datos de capacitación y el registro de auditorías.

La gobernanza manual no escala. Las organizaciones que ejecutan más de un puñado de modelos de AI necesitan herramientas a nivel de plataforma que integren la gobernanza en sus flujos de trabajo de operaciones de ML existentes.

Fase 4: Monitorear, auditar e iterar

La gobernanza debe ser continua. Establezca cadencias de revisión regulares para los modelos implementados, incluidas las alertas automatizadas para la degradación del rendimiento y la desviación de sesgos. Realice auditorías internas y externas periódicas para verificar que los controles funcionen.

A medida que las regulaciones evolucionan y las capacidades de AI avanzan, los marcos de gobierno deben adaptarse. Desarrolle ciclos de revisión en su programa para actualizar políticas, volver a capacitar a las partes interesadas e incorporar las lecciones aprendidas de incidentes o cuasi accidentes.

Desafíos en la gobernanza de AI

Incluso las organizaciones con recursos adecuados pueden enfrentar desafíos reales en la implementación efectiva de la gobernanza de AI. Entre ellas se incluyen:

• Equilibrar la innovación y el control. La gobernanza excesivamente restrictiva puede ralentizar la adopción de la AI e impulsar a los equipos hacia la AI en la sombra, implementando herramientas fuera de la supervisión de la gobernanza. Los programas efectivos encuentran el equilibrio entre velocidad y seguridad, aplicando controles más pesados solo donde el riesgo lo exige.
• Complejidad interjurisdiccional. Las organizaciones que operan globalmente deben navegar por diferentes marcos regulatorios simultáneamente. Lo que exige la Ley de AI de la UE puede diferir de las normas específicas del sector de los EE. UU. o las regulaciones emergentes en Asia-Pacífico. La armonización del cumplimiento en todas las regiones requiere arquitecturas de gobierno flexibles.
• Modele la opacidad. Muchos modelos de AI avanzados, especialmente los modelos de lenguaje grandes y las redes neuronales profundas, funcionan como cajas negras, lo que dificulta la explicación de cómo se toman decisiones específicas. Los programas de gobierno deben invertir en herramientas de explicabilidad y técnicas de interpretabilidad para abordar esta brecha.
• Preparación del talento y la organización. La gobernanza de AI requiere experiencia que abarque tecnología, derecho, ética y gestión de riesgos. Pocas organizaciones tienen esta combinación internamente. La creación de equipos de gobierno multifuncionales y la inversión en capacitación son pasos necesarios, pero que requieren mucho tiempo.
• Mantener el ritmo de la evolución de la AI. El surgimiento de la AI agente, sistemas que pueden tomar acciones autónomas, no solo generar recomendaciones, introduce desafíos de gobierno que los marcos existentes no abordan por completo. Las organizaciones necesitan programas de gobierno que puedan evolucionar tan rápido como la propia tecnología.

El rol de la infraestructura de datos en la gobernanza de AI

La gobernanza de AI no existe en un vacío. Depende de la infraestructura de datos subyacente que almacena, protege y ofrece los datos que consumen los sistemas de AI.

La integridad de los datos de capacitación afecta directamente el comportamiento del modelo. Si los conjuntos de datos de capacitación contienen datos inexactos, sesgados o de origen incorrecto, ninguna cantidad de supervisión algorítmica puede solucionar los resultados resultantes. La gobernanza comienza en la capa de almacenamiento, lo que garantiza que los datos se clasifiquen, controlen el acceso, encripten y conserven de acuerdo con la política.

El almacenamiento inmutable desempeña un papel fundamental en el cumplimiento de la auditoría. Los marcos de gobierno exigen cada vez más que las organizaciones mantengan registros a prueba de manipulaciones de los datos de capacitación del modelo, registros de decisiones y evaluaciones de cumplimiento. Los sistemas de almacenamiento que admiten snapshots inmutables y políticas de escritura una vez proporcionan la base para estos registros de auditoría.

Los requisitos de soberanía y residencia de datos agregan otra dimensión. Las regulaciones como el GDPR y la Ley de AI de la UE exigen que ciertos datos permanezcan dentro de límites geográficos específicos. La arquitectura de almacenamiento debe admitir estos requisitos de forma nativa, no como una idea posterior.

A medida que las cargas de trabajo de AI se escalan, la infraestructura de almacenamiento debe escalarse con ellas mientras se mantienen los controles de gobierno que exige el cumplimiento. Aquí es donde las plataformas de almacenamiento diseñadas específicamente para las cargas de trabajo de AI y análisis proporcionan una clara ventaja sobre las alternativas de uso general.

Perspectivas futuras

La gobernanza de AI se intensificará a medida que las capacidades de AI se vuelvan más autónomas y estén más profundamente integradas en las operaciones críticas.

Los sistemas de AI Agentic pueden planificar, ejecutar tareas de varios pasos e interactuar con herramientas externas de manera independiente, lo que representa la próxima frontera para la gobernanza. Estos sistemas requieren mecanismos de supervisión en tiempo real que van más allá de monitorear los resultados del modelo a las acciones que rigen y sus consecuencias posteriores.

La actividad regulatoria continuará acelerándose a nivel mundial. Los países de Asia-Pacífico, América Latina y Medio Oriente están desarrollando sus propios marcos de gobierno de AI, lo que se suma a la matriz de cumplimiento que las organizaciones deben navegar. Las organizaciones que desarrollen programas de gobierno adaptables ahora, con políticas flexibles, monitoreo automatizado e infraestructura diseñada para el cumplimiento, estarán posicionadas para absorber nuevos requisitos sin reconstruir desde cero.

Conclusiones

La gobernanza de AI es la disciplina que determina si las organizaciones pueden escalar la AI de manera responsable al mantener el cumplimiento, administrar el riesgo y preservar la confianza a medida que se acelera la adopción. Abarca políticas, marcos de trabajo, estructuras de rendición de cuentas y monitoreo continuo durante todo el ciclo de vida de la AI.

Para las empresas, el impacto comercial es directo: Las organizaciones con programas de gobierno maduros reducen los incidentes relacionados con la AI, aceleran los plazos de implementación y cumplen con los requisitos regulatorios que conllevan sanciones financieras significativas por incumplimiento. A medida que las regulaciones como la Ley de AI de la UE, el RMF de AI del NIST y la norma ISO 42001 pasan de la orientación a la aplicación, la gobernanza se convierte en un requisito competitivo, no en un ejercicio opcional.

La base de una gobernanza de AI efectiva comienza con la infraestructura de datos que potencia las cargas de trabajo de AI. FlashBlade® y FlashArray™ de Everpure™ proporcionan la base de almacenamiento seguro y de alto rendimiento que exige la gobernanza de AI, con cifrado incorporado, snapshots SafeMode™ para pistas de auditoría inmutables y la escalabilidad para respaldar las cargas de trabajo de AI desde el desarrollo hasta la producción. Junto con la Infraestructura lista para la AI de AIRI®, Everpure ofrece la infraestructura que hace que la AI responsable sea alcanzable a escala empresarial.