¿Qué es la gobernanza de la IA?

La gobernanza de la IA es el conjunto de políticas, marcos y mecanismos de supervisión que garantizan que los sistemas de Artificial Intelligence se desarrollen, desplieguen y supervisen de una manera segura, ética y que cumpla con las normativas aplicables. En el caso de las organizaciones que escalan la IA en todas las actividades de la empresa, la gobernanza determina si esos sistemas generan confianza o introducen riesgos incontrolados.

Hay mucho en juego. La IA ahora influye en las decisiones de contratación, las aprobaciones de crédito, los diagnósticos médicos y el funcionamiento de la cadena de suministro —y cada una de esas aplicaciones conlleva la posibilidad de sesgos, infracciones de privacidad o fallos absolutos—. Sin una gobernanza estructurada, las organizaciones se exponen a sanciones regulatorias, daños a la reputación y disrupciones operativas que pueden socavar los propios beneficios que la IA pretendía proporcionar.

Este artículo explica lo que implica la gobernanza de la IA, por qué es importante, los principales marcos que la dan forma y cómo las organizaciones pueden implementar programas de gobernanza que equilibren la innovación con la responsabilidad.

El auge de la gobernanza de la IA

La gobernanza de la IA como disciplina formal surgió de la intersección de la gobernanza de los datos, la ética corporativa y la presión regulatoria. Sus orígenes se remontan a principios de la década de 2010, cuando los modelos de Machine Learning empezaron a influir en las decisiones consecuentes en las finanzas, la atención sanitaria y la justicia penal, a menudo sin una supervisión significativa.

Varios fallos de alto perfil aceleraron la demanda de gobernanza. El sesgo algorítmico en las herramientas de sentencia penal, los algoritmos de contratación discriminatorios y los chatbots que produjeron resultados tóxicos demostraron lo que pasa cuando la IA funciona sin barreras. Estos incidentes han hecho que los gobiernos y los grupos del sector actúen.

La Organización para la Cooperación y el Desarrollo Económicos (OCDE) publicó sus Principios de IA en mayo de 2019, estableciendo el primer punto de referencia intergubernamental para la IA responsable. Actualmente, 47 países han adoptado estos principios. La Comisión Europea siguió con sus Directrices éticas para la IA fiable el mismo año. En 2024, la UE había adoptado la Ley de IA, la primera legislación integral del mundo específica para la IA. En los Estados Unidos, el Instituto Nacional de Estándares y Tecnología (NIST) publicó su Marco de Gestión del Riesgo de IA en enero de 2023, proporcionando un estándar voluntario, pero ampliamente adoptado.

En la actualidad, la gobernanza de la IA ha pasado del debate teórico a un requisito operativo. Las organizaciones que alguna vez la trataron como opcional ahora la reconocen como fundamental para escalar la IA de manera segura.

Componentes principales de un marco de gobernanza de IA

Un marco de gobernanza de la IA efectivo funciona en todo el ciclo de vida de la IA, desde la recogida de datos y la formación de modelos hasta el despliegue, la supervisión y la retirada. Si bien los marcos específicos varían, la mayoría comparte varios componentes principales.

Políticas y estándares

La gobernanza comienza con políticas documentadas que definen el uso aceptable de la IA dentro de una organización. Estas políticas abordan la gestión de los datos, las prácticas de desarrollo de modelos, los requisitos de pruebas, los flujos de trabajo de aprobación y las restricciones en las aplicaciones de alto riesgo. Sin unos estándares escritos, la gobernanza se vuelve incoherente e inaplicable.

Las políticas efectivas también definen las funciones y las responsabilidades. Especifican quién aprueba los nuevos proyectos de IA, quién supervisa los modelos desplegados y quién es responsable cuando algo sale mal.

Evaluación y clasificación de riesgos

No todos los sistemas de IA conllevan el mismo riesgo. Un motor de recomendaciones para sugerencias de productos plantea diferentes preocupaciones que un algoritmo que aprueba las solicitudes de hipotecas. Los marcos de gobernanza clasifican los sistemas de IA por nivel de riesgo y aplican una supervisión proporcional.

La Ley de IA de la UE lo formaliza a través de cuatro niveles de riesgo:

• Riesgo inaceptable: Las aplicaciones de IA están totalmente prohibidas, como los sistemas de puntuación social y la vigilancia biométrica en tiempo real en los espacios públicos.
• Alto riesgo: Sistemas que afectan a la salud, la seguridad o los derechos fundamentales —sujetos a evaluaciones de conformidad obligatorias, gestión de riesgos y supervisión humana
• Riesgo limitado: Aplicaciones con obligaciones de transparencia específicas, como los chatbots, que deben revelar que están impulsados por la IA.
• Riesgo mínimo: Sistemas de bajo riesgo sin requisitos adicionales más allá de la ley existente

Estructuras de responsabilidad

La gobernanza requiere una propiedad clara. En la mayoría de las organizaciones empresariales, la responsabilidad abarca múltiples funciones: El director ejecutivo y la alta dirección fijan la dirección estratégica, los equipos jurídicos y de cumplimiento evalúan la exposición a las normativas, los equipos de ciencia de datos gestionan el rendimiento del modelo y las funciones de auditoría validan que los controles funcionan según lo previsto.

Según un estudio de PwC, el 56% de los ejecutivos ha informado de que los equipos de primera línea —TI, ingeniería, datos e IA— lideran ahora los esfuerzos responsables de IA, lo que refleja un cambio desde hace solo unos años, cuando la gobernanza de la IA se vio afectada por las brechas organizativas.

Supervisión y mejora continua

Los modelos de IA no son estáticos. Se desvían a medida que cambian los patrones de datos entrantes, produciendo resultados que divergen de su intención original. Los marcos de gobernanza requieren una supervisión continua para detectar sesgos, degradación de la precisión, vulnerabilidades de seguridad y desviaciones de cumplimiento.

Esta supervisión debe automatizarse a escala. Las revisiones manuales no pueden seguir el ritmo de las organizaciones que ejecutan cientos o miles de modelos en los entornos de producción.

Gobernanza de IA frente a gobernanza de datos

La gobernanza de la IA y la gobernanza de los datos están relacionadas, pero son disciplinas distintas. Confundir los dos genera brechas que ninguno de los programas cubre adecuadamente.

La gobernanza de los datos es un requisito previo para la gobernanza de la IA. No se puede controlar la IA de manera responsable sin controlar primero los datos que consume. Pero la gobernanza de la IA va más allá y aborda el riesgo único de la toma de decisiones algorítmica, la opacidad de los modelos y el comportamiento del sistema autónomo que la gobernanza de los datos por sí sola no cubre.

Marcos y estándares regulatorios clave

El panorama regulatorio para la gobernanza de la IA está evolucionando rápidamente, con múltiples marcos que ahora están dando forma a la manera en que las organizaciones desarrollan e implementan los sistemas de IA.

Ley de IA de la UE

La Ley de IA de la UE es la legislación más completa específica para la IA a nivel mundial. Adoptado en 2024, adopta un enfoque basado en el riesgo, clasificando los sistemas de IA en cuatro niveles con requisitos crecientes. Los sistemas de alto riesgo se enfrentan a evaluaciones de conformidad obligatorias, documentación técnica, supervisión posterior a la comercialización y obligaciones de supervisión humana.

Las sanciones pueden ser importantes: hasta 35 millones de euros o el 7% de la facturación anual global por las infracciones más graves. La Ley entró en vigor el 1 de agosto de 2024, con plena aplicabilidad a los sistemas de alto riesgo para agosto de 2026.

Marco de gestión de riesgos de IA NIST (RMF de IA)

El RMF de IA NIST, publicado en enero de 2023, proporciona un marco voluntario y flexible basado en cuatro funciones principales: 

1. Gobernanza: Establecer la responsabilidad y la cultura
2. Mapa: Entender el contexto y los riesgos 
3. Medida: Evaluación y seguimiento de los riesgos
4. Gestionar: Priorizar y actuar en función de los riesgos 

El marco de trabajo se ha convertido en el estándar de facto para las organizaciones con sede en los Estados Unidos que desarrollan programas de IA gobernanza de IA.

ISO 42001

La norma ISO/IEC 42001, publicada en diciembre de 2023, es la primera norma internacional para los sistemas de gestión de IA. Establece requisitos para que las organizaciones desarrollen, implementen, mantengan y mejoren un sistema de gestión de IA. La certificación conforme a la norma ISO 42001 proporciona un punto de referencia reconocido para la madurez de la IA gobernanza de IA.

Regulaciones específicas del sector

Más allá de los marcos horizontales, las reglas específicas del sector añaden requisitos adicionales:

• Servicios financieros: La guía SR 11-7 de la Reserva Federal de los Estados Unidos exige la gestión del riesgo del modelo para todos los modelos utilizados en la banca, incluidos los modelos de IA/ML.
• Sanidad: Las implicaciones de la HIPAA se extienden a los sistemas de IA que procesan la información sanitaria protegida (PHI), lo que exige gobernanza sobre cómo alimentan los datos de los pacientes los modelos de IA.
• Gobierno: La Directiva canadiense sobre la toma de decisiones automatizada exige evaluaciones de impacto para los sistemas de IA utilizados en los servicios de los gobiernos federales.

Las organizaciones que operan en múltiples jurisdicciones se enfrentan a la complejidad adicional de conciliar requisitos regulatorios superpuestos y a veces contradictorios.

Ventajas empresariales de la gobernanza de la IA

La gobernanza de la IA suele enmarcarse como una carga de cumplimiento, pero las organizaciones que la implementan de manera efectiva obtienen un valor empresarial tangible.

• Reducción del riesgo. La gobernanza estructurada detecta los fallos del modelo, los problemas de sesgo y las vulnerabilidades de seguridad antes de que lleguen a la producción o causen daños. El coste de corregir un fallo de IA después de la implementación, incluida la responsabilidad legal, las multas regulatorias y los daños a la reputación, supera con creces el coste de los controles de gobernanza.
• Cumplimiento normativo. Con la Ley de IA de la UE, el RMF de IA del NIST y las normativas específicas del sector que crean requisitos obligatorios, los programas de gobernanza evitan las costosas infracciones. El incumplimiento de la Ley de IA de la UE por sí solo puede dar lugar a multas que alcanzan el 7% de los ingresos globales.
• Confianza y transparencia. Los clientes, los partners y los reguladores exigen cada vez más visibilidad de cómo toman las decisiones los sistemas de IA. Las organizaciones que pueden demostrar explicabilidad, pruebas de equidad y registros de auditoría obtienen una ventaja competitiva en los procesos de adquisición y las negociaciones de colaboración.
• Eficiencia operativa. La gobernanza estandariza el modo en que los proyectos de IA se evalúan, aprueban y supervisan, reduciendo los esfuerzos redundantes, acelerando los plazos de implementación y eliminando la toma de decisiones ad hoc que ralentiza a los equipos.
• Escalamiento más rápido. Las organizaciones con gobernanza madura pueden desplegar la IA en nuevos casos de uso más rápidamente porque las políticas, los procesos de revisión y la infraestructura de supervisión ya están implementadas. Sin gobernanza, cada nuevo proyecto de IA se convierte en un ejercicio de cumplimiento único.

Cómo implementar la gobernanza de la IA

La implementación de la gobernanza de la IA no es un proyecto puntual. Es un programa en curso que madura con el tiempo. Aquí tiene un enfoque por fases que se alinea con el modo en que la mayoría de las organizaciones empresariales desarrollan sus capacidades de gobernanza.

Fase 1: Evaluación e inventario

Empiece catalogando todos los sistemas de IA actualmente en uso o en desarrollo. Muchas organizaciones se sorprenden al descubrir el alcance de la adopción de la IA en todos los departamentos, incluidas las herramientas adoptadas informalmente por equipos individuales sin supervisión central.

Para cada sistema, documente su propósito, los datos que consume, quién es el propietario y las decisiones en las que influye. Este inventario constituye la base de la clasificación de riesgos.

Fase 2: Definir políticas y asignar propiedad

Desarrollar políticas específicas de IA que cubran el uso aceptable, los criterios de clasificación de riesgos, los requisitos de pruebas y los procedimientos de escalamiento. Asigne una propiedad clara en toda la organización: Los patrocinadores ejecutivos, los responsables de gobernanza, los propietarios de modelos y las funciones de auditoría necesitan funciones definidas.

No empiece desde cero. Marcos como el RMF de IA NIST proporcionan plantillas estructuradas que las organizaciones pueden adaptar a su contexto y tolerancia al riesgo específicos.

Fase 3: Implementar controles y herramientas

Implementar los controles técnicos y las herramientas necesarias para aplicar las políticas a escala. Esto incluye la detección automatizada de sesgos, la supervisión del rendimiento del modelo, la detección de derivas, los controles de acceso a los datos de entrenamiento y el registro de auditoría.

La gobernanza manual no se escala. Las organizaciones que ejecutan más de un puñado de modelos de IA necesitan herramientas a nivel de plataforma que integren la gobernanza en sus flujos de trabajo operativos de ML existentes.

Fase 4: Supervisar, auditar e iterar

La gobernanza debe ser continua. Establecer cadencias de revisión periódicas para los modelos implementados, incluidas las alertas automatizadas para la degradación del rendimiento y la desviación de los sesgos. Realizar auditorías internas y externas periódicas para verificar que los controles funcionan.

A medida que las normativas evolucionan y las funcionalidades de IA avanzan, los marcos de gobernanza deben adaptarse. Incorpore ciclos de revisión en su programa para actualizar las políticas, volver a formar a las partes interesadas e incorporar las lecciones aprendidas de los incidentes o cuasi accidentes.

Retos en la gobernanza de la IA

Incluso las organizaciones con recursos adecuados pueden enfrentarse a retos reales a la hora de implementar la gobernanza de la IA de manera efectiva. Estas incluyen:

• Equilibrar la innovación y el control. La gobernanza excesivamente restrictiva puede ralentizar la adopción de la IA y empujar a los equipos hacia la IA en la sombra, implementando herramientas fuera de la supervisión de la gobernanza. Los programas eficaces encuentran el equilibrio entre la velocidad y la seguridad, aplicando unos controles más pesados solo cuando el riesgo lo exige.
• Complejidad interjurisdiccional. Las organizaciones que operan globalmente deben navegar por diferentes marcos regulatorios simultáneamente. Lo que exige la Ley de IA de la UE puede diferir de las normas específicas del sector estadounidense o de las normativas emergentes de Asia-Pacífico. La armonización del cumplimiento normativo en todas las regiones exige unas arquitecturas de gobernanza flexibles.
• Opacidad de modelo. Muchos modelos avanzados de IA —en especial los modelos de lenguaje grande y las redes neuronales profundas— funcionan como cuadros negros, lo que dificulta explicar cómo se toman decisiones específicas. Los programas de gobernanza deben invertir en herramientas explicables y técnicas de interpretabilidad para abordar esta brecha.
• El talento y la preparación organizativa. La gobernanza de la IA requiere una experiencia que abarque la tecnología, la ley, la ética y la gestión de riesgos. Pocas organizaciones tienen esta combinación internamente. La creación de equipos de gobernanza interfuncionales y la inversión en formación son necesarios, pero requieren mucho tiempo.
• Mantener el ritmo de la evolución de la IA. La aparición de la IA agente, unos sistemas que pueden adoptar medidas autónomas, no solo generar recomendaciones, plantea retos de gobernanza que los marcos existentes no abordan por completo. Las organizaciones necesitan programas de gobernanza que puedan evolucionar tan rápidamente como la propia tecnología.

El papel de la infraestructura de datos en la gobernanza de la IA

La gobernanza de la IA no existe en un vacío. Depende de la infraestructura de datos subyacente que almacena, protege y proporciona el consumo de los sistemas de IA de datos.

La integridad de los datos de entrenamiento afecta directamente al comportamiento del modelo. Si los conjuntos de datos de entrenamiento contienen datos inexactos, sesgados o de origen incorrecto, ninguna cantidad de supervisión algorítmica puede corregir los resultados resultantes. La gobernanza empieza en la capa de almacenamiento, garantizando que los datos se clasifiquen, controlen el acceso, encripten y conserven correctamente de acuerdo con la política.

El almacenamiento inmutable juega un papel fundamental en el cumplimiento de las auditorías. Los marcos de gobernanza exigen cada vez más que las organizaciones mantengan registros a prueba de manipulaciones de los datos de formación de los modelos, los registros de decisiones y las evaluaciones de cumplimiento. Los sistemas de almacenamiento que admiten copias instantáneas inmutables y políticas de escritura una vez proporcionan la base para estos registros de auditoría.

Los requisitos de soberanía y residencia de los datos añaden otra dimensión. Las normativas como el RGPD y la Ley de IA de la UE exigen que ciertos datos permanezcan dentro de unos límites geográficos específicos. La arquitectura de almacenamiento debe soportar estos requisitos de manera nativa, no como un futuro.

A medida que las cargas de trabajo de IA se escalan, la infraestructura de almacenamiento debe escalarse con ellas y mantener los controles de gobernanza que exige el cumplimiento normativo. Aquí es donde las plataformas de almacenamiento diseñadas específicamente para las cargas de trabajo de IA y analíticas proporcionan una clara ventaja sobre las alternativas de uso general.

Perspectivas futuras

La gobernanza de la IA se intensificará a medida que las funcionalidades de la IA aumenten de manera más autónoma y estén más profundamente integradas en las actividades críticas.

Los sistemas de IA agente pueden planificar, ejecutar tareas de múltiples pasos e interactuar con herramientas externas de manera independiente, lo que representa la siguiente frontera para la gobernanza. Estos sistemas requieren mecanismos de supervisión en tiempo real que vayan más allá de los resultados de los modelos de supervisión para dirigir las acciones y sus consecuencias posteriores.

La actividad regulatoria seguirá acelerándose globalmente. Los países de Asia-Pacífico, América Latina y Oriente Medio están desarrollando sus propios marcos de gobernanza de la IA, lo que se suma a la matriz de cumplimiento que las organizaciones deben sortear. Las organizaciones que crean programas de gobernanza adaptables ahora —con políticas flexibles, supervisión automatizada e infraestructura diseñada para el cumplimiento normativo— estarán posicionadas para absorber nuevos requisitos sin reconstruirse desde cero.

Conclusión

La gobernanza de la IA es la disciplina que determina si las organizaciones pueden escalar la IA de manera responsable manteniendo el cumplimiento normativo, gestionando el riesgo y preservando la confianza a medida que se acelera la adopción. Abarca políticas, marcos, estructura de responsabilidad y supervisión continua a lo largo de todo el ciclo de vida de la IA.

Para las empresas, el impacto empresarial es directo: Las organizaciones con programas de gobernanza maduros reducen los incidentes relacionados con la IA, aceleran los plazos de implementación y cumplen los requisitos normativos que conllevan importantes sanciones económicas por incumplimiento. A medida que normativas como la Ley de IA de la UE, el RMF de IA del NIST y la ISO 42001 pasan de la orientación a la aplicación, la gobernanza se convierte en un requisito competitivo, no en un ejercicio opcional.

La base de una gobernanza efectiva de la IA empieza con la infraestructura de datos que impulsa las cargas de trabajo de IA. Everpure™ FlashBlade® y FlashArray™ proporcionan la base de almacenamiento seguro y de alto rendimiento que exige la gobernanza de la IA — con cifrado integrado, Snapshots SafeMode™ para pistas de auditoría inmutables y la escalabilidad para soportar las cargas de trabajo de IA desde el desarrollo hasta la producción. Junto con la infraestructura IA preparada para IA AIRI®, Everpure proporciona la infraestructura que hace que la IA responsable sea alcanzable a escala empresarial.