什麼是 AI 管理？
AI 治理是一套政策、框架和監督機制，確保 AI 系統以安全、符合道德且符合適用法規的方式開發、部署和監控。對於跨業務營運擴展 AI 的組織，治理決定了這些系統是建立信任還是帶來不受控制的風險。
其風險很高。AI 現在會影響聘用決策、信貸核准、醫療診斷和供應鏈營運，而每個應用程式都具有偏見、違反隱私或直接故障的潛力。如果沒有結構化的治理，組織會面臨監管處罰、聲譽受損和營運中斷，這可能會破壞 AI 的本意。
本文說明了 AI 治理涉及哪些內容、為何 AI 治理如此重要、它的主要架構是什麼形成，以及組織如何實施治理計畫，以平衡創新與問責制。
AI 治理的興起
AI 治理作為正式的紀律，來自於資料治理、企業道德和監管壓力的交集。其根源可追溯至 2010 年代初期，當時機器學習模式開始影響財務、醫療和刑事正義的後續決策，通常沒有有意義的監督。
數起重大故障加速了治理需求。犯罪犯罪份子、歧視性招募演算法，以及產生有毒輸出的聊天機器人的演算法偏見，展現出了 AI 在無護欄的情況下運作時會發生什麼。這些事件促使政府和產業團體採取行動。
經濟合作暨發展組織（OECD）於 2019 年 5 月發布了 AI 原則，為負責任的 AI 建立第一個政府間基準。如今，已有 47 個國家採用這些原則。歐盟委員會同年也遵循了其值得信賴的 AI 道德準則。到 2024 年，歐盟已採用 AI 法案，這是全球第一個全面的 AI 特定法規。在美國，美國國家標準技術研究院（National Institute of Standards and Technology，NIST）於 2023 年 1 月發布 AI 風險管理架構，提供自願性但廣泛採用的標準。
如今，AI 治理已從理論討論轉變為營運需求。曾經視之為選擇性的組織現在認為這是安全擴充 AI 的基礎。
AI 治理架構的核心元件
有效的 AI 治理架構在整個 AI 生命週期中運作，從資料收集和模型訓練到部署、監控和淘汰。雖然特定架構各有不同，但大多數都共用數個核心元件。
政策與標準
管理始於書面政策，該政策定義了組織內可接受的 AI 使用方式。這些政策涉及資料處理、模型開發實務、測試要求、核准工作流程，以及對高風險應用程式的限制。沒有書面標準，治理變得不一致且無法執行。
有效的政策也定義了角色與責任。他們指定了核准新 AI 專案的人員、監控部署模型的人員，以及在發生問題時負責的人員。
風險評估與分類
並非所有 AI 系統都有相同的風險。產品建議的推薦引擎，與核准抵押貸款申請的演算法有不同的疑慮。管理架構依風險等級分類 AI 系統，並按比例進行監督。
歐盟 AI 法案透過四個風險層級正式制定：
- 無法接受的風險：AI 應用程式被直接禁止，例如在公共空間的社會評分系統與即時生物識別監控
- 高風險：影響健康、安全或基本權利的系統，必須進行強制性合規評估、風險管理和人為監督
- 風險有限：具有特定透明度義務的應用程式，例如必須揭露其由 AI 驅動的聊天機器人
- 最低風險：低風險系統，除現有法律外，不需額外要求
問責結構
治理需要明確的所有權。在大多數企業組織中，責任涵蓋多個角色：CEO 和資深領導階層制定策略方向，法律和合規團隊評估監管風險，資料科學團隊管理模型績效，並稽核職能，驗證控制是否如預期運作。
根據普華永道的研究顯示，56% 的高階主管表示，IT、工程、資料和 AI 等第一線團隊現在負責領導 AI 工作，反映出 AI 治理從幾年前就落入組織缺口。
監控並持續改進
AI 模型不是靜態的。隨著傳入資料模式的改變，它們產生了與原始意圖不同的輸出。治理架構需要持續監控偏差、準確性降低、安全性漏洞和合規性偏差。
此監控作業必須自動化進行擴展。人工審查無法跟上組織在生產環境中運行數百或數千個模型的腳步。
AI 管理 vs. 資料管理
AI 治理和資料治理是相關但不同的紀律。混淆兩者會導致程式無法充分彌補的差距。
資料治理是 AI 治理的先決條件。您必須先管理 AI 使用的資料，才能以負責任的態度進行管理。但 AI 管理更進一步，解決了演算法決策、模型不透明度和自主系統行為的獨特風險，而光是資料管理就無法涵蓋。
關鍵法規架構與標準
AI 治理的監管環境正在迅速發展，如今多個框架正在塑造組織如何開發和部署 AI 系統。
歐盟 AI 法案
歐盟 AI 法案是全球最全面的 AI 特定法規。2024 年採用的 AI 系統需要以風險為基礎的方法，將 AI 系統分類為四個層級，並不斷增加需求。高風險系統面臨強制性合規評估、技術文件、上市後監控和人為監督義務。
罰則可能相當嚴重：最嚴重的違規行為最高可高達 3，500 萬歐元或全球年營業額的 7%。該法案於 2024 年 8 月 1 日生效，並於 2026 年 8 月前全面適用於高風險系統。
NIST AI 風險管理架構 （AI RMF）
NIST AI RMF 於 2023 年 1 月推出，提供自願、彈性的架構，以四個核心功能為基礎：
- 治理：建立責任感與文化
- 地圖：了解背景與風險
- 測量：評估與追蹤風險
- 管理：優先處理風險
此架構已成為美國組織建立 AI 管理計畫的實質標準。
ISO 42001
ISO/IEC 42001 於 2023 年 12 月發佈，是第一個 AI 管理系統的國際標準。它為組織建立開發、實施、維護和改善 AI 管理系統的要求。ISO 42001 認證是公認的 AI 治理成熟度基準。
特定產業的法規
除了水平架構之外，產業特定規則也增加了其他要求：
- 金融服務：美國聯邦儲備局的 SR 11-7 指南要求銀行業使用的所有模型皆須進行模型風險管理，包括 AI/ML 模型。
- 醫療：HIPAA 影響範圍延伸到處理受保護健康資訊 （PHI） 的 AI 系統，需要管理患者資料如何供給 AI 模型。
- 政府：加拿大的自動化決策指令規定了聯邦政府服務中使用的 AI 系統的影響評估。
跨多個司法管轄區營運的組織面臨著協調重疊的複雜性，有時也會與監管要求衝突。
AI 管理的業務優勢
AI 治理通常被視作法規遵循負擔，但實施 AI 的組織能有效實現實際的商業價值。
- 風險降低。結構化的治理在模型故障、偏差問題和安全漏洞到達生產環境或造成傷害之前，預先加以偵測。部署後補救 AI 故障的成本，包括法律責任、監管罰款和聲譽損害，遠遠超過管理控制的成本。
- 遵循法規。隨著歐盟 AI 法案、NIST AI RMF 和特定產業法規制定了強制性要求，治理計畫可避免代價高昂的違規行為。不遵守歐盟 AI 法案，可能導致罰款達到全球營收的 7%。
- 信任與透明度。客戶、合作夥伴和監管機構對 AI 系統如何做出決策的需求日漸增加。能夠展現可解釋性、公平性測試和稽核軌跡的組織，在採購流程和夥伴關係談判中取得競爭優勢。
- 營運效率。治理將 AI 專案的評估、核准與監控方式標準化，減少多餘的工作、加快部署時程，並消除拖慢團隊速度的臨時決策。
- 更快擴展。擁有成熟管理的組織可以更快地將 AI 部署到新的使用案例中，因為政策、審查流程和監控基礎架構已經到位。如果沒有管理，每個新的 AI 專案都會變成一次性的合規練習。
如何實施 AI 管理
實施 AI 管理並非一次性專案。這是一項持續不斷的計畫，會隨著時間推移而成熟。以下分階段的方法，符合大多數企業組織如何建立管理能力。
第 1 階段：評估與盤點
首先，為所有目前使用或開發中的 AI 系統編製目錄。許多組織對於跨部門的 AI 採用程度感到驚訝，包括個別團隊在無中央監督的情況下以非正式方式採用的工具。
對於每個系統，記錄其目的、使用的資料、擁有資料者，以及影響決策。此清單是風險分類的基礎。
第 2 階段：定義政策並指定所有權
制定 AI 特定政策，涵蓋可接受的使用、風險分類標準、測試要求和升級程序。在整個組織中指定明確的所有權：執行贊助者、治理主管、模型負責人和稽核職能都需要定義的角色。
不要從頭開始。NIST AI RMF 等架構提供結構化的範本，讓組織能夠適應其特定環境與風險承受度。
第 3 階段：實施控制和工具
部署執行大規模政策所需的技術控制和工具。其中包括自動化偏差偵測、模型效能監控、漂移偵測、訓練資料的存取控制，以及稽核記錄。
手動管理無法擴展。營運超過少數 AI 模型的組織需要平台層級的工具，將治理整合至現有的 ML 作業工作流程。
第 4 階段：監控、稽核與迭代
治理必須持續進行。建立部署模型的定期審查節奏，包括自動警示效能下降和偏差漂移。定期進行內部和外部稽核，以確認控制功能正常。
隨著法規的發展和 AI 功能的發展，治理架構必須有所調整。在您的計畫中建立審查週期，以更新政策、重新訓練利害關係人，並納入從事件或近乎遺漏中學到的經驗教訓。
AI 治理面臨的挑戰
即使是資源充足的組織，在有效實施 AI 管理時，也可能面臨真正的挑戰。包括：
- 平衡創新與控制。過度受限的治理可能會拖慢 AI 的採用速度，並推動團隊邁向影子 AI 發展，進而在治理監督之外部署工具。有效的計畫在速度與安全性之間取得平衡，僅在風險需要時，才採用更嚴格的控制。
- 跨司法管轄區的複雜性。全球營運組織必須同時瀏覽不同的監管架構。歐盟 AI 法案的要求可能與美國特定產業的規定或亞太地區的新興法規不同。協調跨地區的合規性需要彈性的治理架構。
- 模型不透明度。許多進階 AI 模型，尤其是大型語言模型和深度神經網路，都以黑色方塊的形式運作，因此難以解釋如何做出具體決策。治理計畫必須投資可解釋性工具與可解釋性技術，以解決這種差距。
- 人才與組織就緒度。AI 治理需要技術、法律、道德和風險管理方面的專業知識。很少組織內部有這種組合。建立跨職能治理團隊並投資訓練是必要的，但需要耗費大量時間的步驟。
- 跟上 AI 發展的腳步。代理式 AI 的出現，不僅能產生建議，還能採取自主行動的系統，帶來現有架構無法完全解決的治理挑戰。企業組織需要能夠像技術本身一樣快速發展的治理計畫。
資料基礎架構在 AI 管理中扮演的角色
AI 治理在真空中並不存在。這取決於儲存、保護和交付 AI 系統所使用資料的基礎資料基礎架構。
訓練資料完整性會直接影響模型行為。如果訓練資料集包含不準確、偏誤或來源不當的資料，則無法進行大量演算法監督，以修正結果。治理從儲存層開始，確保資料能正確分類、存取控制、加密，並依政策保留。
可避免的儲存裝置在稽核合規性中扮演著關鍵角色。管理架構愈來愈需要組織維護模型訓練資料、決策記錄和合規性評估的防竄改記錄。支援不可變快照和一次性寫入政策的儲存系統，為這些稽核軌跡奠定了基礎。
資料主權和居留權要求增加了另一個層面。GDPR 和歐盟 AI 法案等法規要求某些資料必須保持在特定的地理範圍內。Oracle 架構必須原生支援這些需求，而非事後考量。
隨著 AI 工作負載的擴展，儲存基礎架構必須隨著它們擴展，同時維持合規性所需的治理控制。這就是專為 AI 和分析工作負載設計的專用儲存平台，比起一般用途的替代方案，能提供明顯的優勢。
未來展望
隨著 AI 能力的成長，AI 治理將更加自主，並更深入地嵌入關鍵營運中。
代理式 AI 系統可以規劃、執行多步驟任務，並與外部工具獨立互動，代表治理的下一個領域。這些系統需要即時監督機制，這些機制不僅要監控模型輸出，還要管理行動及其下游後果。
全球監管活動將持續加速。亞太、拉丁美洲和中東國家正在開發自己的 AI 治理架構，為合規矩陣組織增加必不可少的應用。現在建立適應性治理計畫的組織，包括彈性政策、自動化監控，以及專為法規遵循所設計的基礎架構，將能吸收新需求，而不需從頭開始重建。
結論
AI 管理是決定組織是否能透過維持合規性、管理風險，以及隨著採用速度加快而維持信任來負責任地擴展 AI 的紀律。它涵蓋了政策、框架、問責制結構，並在整個 AI 生命週期中持續監控。
對企業而言，業務影響是直接的：擁有成熟管理方案的組織，可減少 AI 相關事件、加快部署時程，並符合法規要求，因不合規而遭受重大財務處罰。隨著歐盟 AI 法案、NIST AI RMF 和 ISO 42001 等法規從指南轉向執行，治理成為競爭性的要求，而非選擇性的練習。
有效的 AI 治理基礎始於驅動 AI 工作負載的資料基礎架構。Everpureza FlashBlade® 和 FlashArray 提供 AI 管理所需的高效能、安全儲存基礎，包括內建加密功能、適用於不可變稽核軌跡的 SafeMode 快照，以及支援 AI 工作負載的擴充性，從開發到生產。Everpure 搭配 AIRI® AI-Ready 基礎架構，提供能讓企業規模實現負責任 AI 的基礎架構。
