La gouvernance des données est une condition préalable à la gouvernance de l’AI. Vous ne pouvez pas gouverner l’AI de manière responsable sans d’abord gouverner les données qu’elle consomme. Mais la gouvernance de l’AI s’étend davantage, abordant les risques uniques liés à la prise de décisions algorithmiques, à l’opacité des modèles et au comportement des systèmes autonomes que la gouvernance des données ne couvre pas à elle seule.
Cadres et normes réglementaires clés
Le paysage réglementaire de la gouvernance de l’AI évolue rapidement, avec plusieurs structures qui façonnent désormais la manière dont les organisations développent et déploient des systèmes d’AI.
Loi européenne sur AI
La loi européenne sur l’AI est la législation la plus complète au monde sur l’AI. Adoptée en 2024, elle adopte une approche basée sur les risques, classifiant les systèmes d’AI en quatre niveaux avec des exigences croissantes. Les systèmes à haut risque sont soumis à des évaluations de conformité obligatoires, à une documentation technique, à une surveillance post-commercialisation et à des obligations de surveillance humaine.
Les pénalités peuvent être importantes : jusqu’à 35 millions d’euros ou 7 % du chiffre d’affaires annuel mondial pour les violations les plus graves. La loi est entrée en vigueur le 1er août 2024, avec une applicabilité totale pour les systèmes à haut risque d’ici août 2026.
Cadre de gestion des risques de AI’IA du NIST (AI RMF)
Le NIST AI RMF, publié en janvier 2023, fournit un cadre volontaire et flexible basé sur quatre fonctions principales :
- Gouvernance : Établir la responsabilité et la culture
- Carte : Comprendre le contexte et les risques
- Mesure : Évaluer et suivre les risques
- Gérer : Prioriser les risques et agir en conséquence
Le cadre est devenu la norme de facto pour les organisations basées aux États-Unis qui élaborent des programmes de gouvernance AI.
ISO 42001
La norme ISO/IEC 42001, publiée en décembre 2023, est la première norme internationale pour les systèmes de gestion AI. Elle établit des exigences pour les organisations en matière de développement, de mise en œuvre, de maintenance et d’amélioration d’un système de gestion de l’AI. La certification ISO 42001 constitue une référence reconnue pour la maturité de la gouvernance de l’AI.
Réglementations spécifiques au secteur
Au-delà des structures horizontales, les règles sectorielles ajoutent des exigences supplémentaires :
- Services financiers : Les directives SR 11-7 de la Réserve fédérale des États-Unis exigent une gestion des risques pour tous les modèles utilisés dans les banques, y compris les modèles d’AI/ML.
- Santé : Les implications de l’HIPAA s’étendent au traitement des informations de santé protégées (PHI) par les systèmes d’AI, nécessitant une gouvernance sur la manière dont les données des patients alimentent les modèles dAI.
- Secteur public : La Directive canadienne sur la prise de décision automatisée impose des évaluations d’impact pour les systèmes d’AI utilisés dans les services gouvernementaux fédéraux.
Les organisations qui opèrent dans plusieurs juridictions sont confrontées à la complexité supplémentaire de la conciliation entre les exigences réglementaires qui se chevauchent et parfois conflictuelles.
Avantages commerciaux de la gouvernance de l’AI
La gouvernance de l’AI est souvent encadrée comme une charge de conformité, mais les organisations qui la mettent en œuvre en tirent une valeur commerciale tangible.
- Réduction des risques. La gouvernance structurée détecte les défaillances du modèle, les problèmes de biais et les vulnérabilités de sécurité avant qu’elles n’atteignent la production ou ne causent des dommages. Le coût de la résolution d’une panne d’AI après le déploiement, y compris la responsabilité légale, les amendes réglementaires et les dommages à la réputation, dépasse largement le coût des contrôles de gouvernance.
- Conformité réglementaire. Avec la loi européenne sur l’AI, le NIST AI RMF et les réglementations sectorielles créant des exigences obligatoires, les programmes de gouvernance empêchent les violations coûteuses. Le non-respect de la loi européenne sur l’AI peut entraîner des amendes représentant 7 % du chiffre d’affaires mondial.
- Confiance et transparence. Les clients, les partenaires et les organismes de réglementation exigent de plus en plus une visibilité sur la manière dont les systèmes d’AI prennent des décisions. Les organisations capables de démontrer l’explicabilité, les tests d’équité et les pistes d’audit bénéficient d’un avantage concurrentiel dans les processus d’achat et les négociations de partenariat.
- Efficacité opérationnelle. La gouvernance normalise la manière dont les projets d’AI sont évalués, approuvés et surveillés, réduisant ainsi les efforts redondants, accélérant les délais de déploiement et éliminant les prises de décisions ad hoc qui ralentissent les équipes.
- Une évolutivité plus rapide. Les organisations dont la gouvernance est mature peuvent déployer plus rapidement l’AI dans de nouveaux cas d’utilisation, car les politiques, les processus d’examen et l’infrastructure de surveillance sont déjà en place. Sans gouvernance, chaque nouveau projet d’AI devient un exercice de conformité ponctuel.
Comment mettre en œuvre la gouvernance de AI
La mise en œuvre de la gouvernance de l’AI n’est pas un projet ponctuel. Il s’agit d’un programme continu qui évolue au fil du temps. Voici une approche progressive qui s’aligne sur la manière dont la plupart des entreprises développent leurs capacités de gouvernance.
Phase 1 : Évaluation et inventaire
Commencez par cataloguer tous les systèmes d’AI actuellement utilisés ou en cours de développement. De nombreuses organisations sont surprises de découvrir l’ampleur de l’adoption de l’AI entre les différents services, y compris les outils adoptés de manière informelle par les équipes individuelles sans surveillance centrale.
Pour chaque système, documentez son objectif, les données qu’il consomme, qui en est propriétaire et les décisions qu’il influence. Cet inventaire constitue la base de la classification des risques.
Phase 2 : Définir les politiques et attribuer la propriété
Élaborer des politiques spécifiques à l’AI qui couvrent l’utilisation acceptable, les critères de classification des risques, les exigences de test et les procédures de remontée. Attribuez une responsabilité claire à l’ensemble de l’organisation : Les sponsors exécutifs, les responsables de la gouvernance, les propriétaires de modèles et les fonctions d’audit ont tous besoin de rôles définis.
Ne partez pas de zéro. Des structures comme le NIST AI RMF fournissent des modèles structurés que les organisations peuvent adapter à leur contexte spécifique et à leur tolérance au risque.
Phase 3 : Mettre en œuvre des contrôles et des outils
Déployez les contrôles techniques et les outils nécessaires pour appliquer les politiques à grande échelle. Cela inclut la détection automatique des biais, la surveillance des performances des modèles, la détection des dérives, les contrôles d’accès aux données d’entraînement et la journalisation des audits.
La gouvernance manuelle n’évolue pas. Les organisations qui exécutent plus d’une poignée de modèles d’AI ont besoin d’outils au niveau de la plateforme qui intègrent la gouvernance dans leurs flux de travail d’opérations ML existants.
Phase 4 : Surveiller, auditer et itérer
La gouvernance doit être continue. Établir des fréquences d’examen régulières pour les modèles déployés, y compris des alertes automatisées pour la dégradation des performances et la dérive des biais. Effectuer des audits internes et externes périodiques pour vérifier que les contrôles fonctionnent.
À mesure que les réglementations évoluent et que les capacités d’AI évoluent, les structures de gouvernance doivent s’adapter. Intégrez des cycles d’évaluation à votre programme pour mettre à jour les politiques, former à nouveau les parties prenantes et intégrer les leçons tirées des incidents ou des quasi-accidents.
Difficultés liées à la gouvernance de AI
Même les organisations disposant de ressources suffisantes peuvent faire face à de réels défis pour mettre en œuvre efficacement une gouvernance de l’AI. notamment :
- Équilibrer l’innovation et le contrôle. Une gouvernance trop restrictive peut ralentir l’adoption de l’AI et pousser les équipes vers une AI parallèle, en déployant des outils en dehors de la supervision de la gouvernance. Les programmes efficaces trouvent l’équilibre entre vitesse et sécurité, en appliquant des contrôles plus lourds uniquement là où le risque l’exige.
- Complexité interjuridictionnelle. Les organisations qui opèrent à l’échelle mondiale doivent s’adapter simultanément à différents cadres réglementaires. Les exigences de la loi européenne sur l’AI peuvent différer des règles spécifiques au secteur américain ou des réglementations émergentes en Asie-Pacifique. L’harmonisation de la conformité entre les régions nécessite des architectures de gouvernance flexibles.
- L’opacité du modèle. De nombreux modèles d’AI avancés, en particulier les grands modèles linguistiques et les réseaux neuronaux profonds, fonctionnent comme des boîtes noires, ce qui rend difficile d’expliquer comment des décisions spécifiques sont prises. Les programmes de gouvernance doivent investir dans des outils d’explicabilité et des techniques d’interprétabilité pour combler cette lacune.
- Le talent et la préparation organisationnelle. La gouvernance de l’AI nécessite une expertise couvrant la technologie, la loi, l’éthique et la gestion des risques. Peu d’organisations disposent de cette combinaison en interne. La création d’équipes de gouvernance interfonctionnelles et l’investissement dans la formation sont nécessaires, mais des étapes chronophages sont nécessaires.
- Suivre l’évolution de l’AI. L’émergence de l’AI agentique, des systèmes capables de prendre des mesures autonomes, et pas seulement de générer des recommandations, introduit des défis de gouvernance que les structures existantes ne traitent pas entièrement. Les organisations ont besoin de programmes de gouvernance capables d’évoluer aussi rapidement que la technologie elle-même.
Le rôle de l’infrastructure de données dans la gouvernance de AI
La gouvernance de l’AI n’existe pas dans le vide. Cela dépend de l’infrastructure de données sous-jacente qui stocke, protège et fournit les données consommées par les systèmes d’AI.
L’intégrité des données d’entraînement affecte directement le comportement du modèle. Si les ensembles de données d’entraînement contiennent des données inexactes, biaisées ou mal approvisionnées, aucune supervision algorithmique ne peut corriger les résultats obtenus. La gouvernance commence au niveau de la couche de stockage, ce qui permet de s’assurer que les données sont correctement classifiées, contrôlées par l’accès, chiffrées et conservées conformément à la politique.
Le stockage immuable joue un rôle essentiel dans la conformité des audits. Les cadres de gouvernance obligent de plus en plus les organisations à conserver des enregistrements inviolables des données d’entraînement des modèles, des journaux de décision et des évaluations de conformité. Les systèmes de stockage qui prennent en charge les snapshots immuables et les politiques d’écriture unique constituent la base de ces pistes d’audit.
Les exigences de souveraineté et de résidence des données ajoutent une autre dimension. Des réglementations telles que le RGPD et la loi européenne sur l’AI exigent que certaines données restent dans des limites géographiques spécifiques. L’architecture de stockage doit prendre en charge ces exigences de manière native, et non après coup.
À mesure que les charges de travail d’AI évoluent, l’infrastructure de stockage doit évoluer avec elles tout en maintenant les contrôles de gouvernance exigés par la conformité. C’est là que les plateformes de stockage spécialement conçues pour les charges de travail d’AI et d’analytique offrent un avantage évident par rapport aux alternatives à usage général.
Perspectives d’avenir
La gouvernance de l’AI s’intensifiera à mesure que les capacités d’AI deviendront de plus en plus autonomes et profondément intégrées dans les opérations critiques.
Les systèmes d’AI agents peuvent planifier, exécuter des tâches en plusieurs étapes et interagir indépendamment avec des outils externes, ce qui représente la prochaine frontière en matière de gouvernance. Ces systèmes nécessitent des mécanismes de surveillance en temps réel qui vont au-delà de la surveillance des résultats du modèle pour gouverner les actions et leurs conséquences en aval.
L’activité réglementaire continuera de s’accélérer à l’échelle mondiale. Les pays d’Asie-Pacifique, d’Amérique latine et du Moyen-Orient développent leurs propres cadres de gouvernance de l’AI, ce qui vient s’ajouter à la matrice de conformité que les organisations doivent suivre. Les organisations qui élaborent des programmes de gouvernance adaptables dès maintenant, avec des politiques flexibles, une surveillance automatisée et une infrastructure conçue pour la conformité, seront en mesure d’assumer de nouvelles exigences sans avoir à reconstruire à partir de zéro.
