AI 거버넌스란?

AI 거버넌스는 Artificial Intelligence능 시스템이 안전하고 윤리적이며 관련 규정을 준수하는 방식으로 개발, 배포 및 모니터링되도록 보장하는 정책, 프레임워크 및 감독 메커니즘 세트입니다. 비즈니스 운영 전반에 걸쳐 AI를 확장하는 조직의 경우, 거버넌스는 해당 시스템이 신뢰를 구축할지 또는 통제할 수 없는 위험을 초래할지 결정합니다.

리스크가 높습니다. AI는 이제 채용 결정, 신용 승인, 의료 진단 및 공급망 운영에 영향을 미치며, 이러한 각 애플리케이션은 편향, 개인정보 보호 위반 또는 완전한 실패의 가능성을 수반합니다. 조직들은 체계적인 거버넌스 없이 AI가 제공하는 혜택을 훼손할 수 있는 규제 처벌, 평판 손상 및 운영 중단에 노출됩니다.

이 글은 AI 거버넌스가 수반하는 사항, AI 거버넌스가 중요한 이유, AI 거버넌스를 형성하는 주요 프레임워크, 그리고 조직이 혁신과 책임의 균형을 맞추는 거버넌스 프로그램을 구현하는 방법에 대해 설명합니다.

AI 거버넌스의 부상

공식 분야로서의 AI 거버넌스는 데이터 거버넌스, 기업 윤리 및 규제 압박의 교차점에서 비롯되었습니다. 머신Machine Learning 모델이 재무, 의료 및 형사 정의의 결과적인 결정에 영향을 미치기 시작한 2010년대 초반까지 거슬러 올라갑니다.

몇 가지 중요한 장애로 인해 거버넌스에 대한 수요가 가속화되었습니다. 범죄 선고 툴, 차별적 채용 알고리즘 및 유독성 결과물을 생성한 챗봇의 알고리즘 편향은 AI가 가드레일 없이 작동할 때 어떤 일이 일어나는지 보여줍니다. 이러한 사고로 인해 정부와 업계 그룹이 조치를 취하게 되었습니다.

경제협력개발기구(OECD)는 2019년 5월에 AI 원칙을 발표하여 책임 있는 AI를 위한 최초의 정부간 벤치마크를 수립했습니다. 오늘날 47개국이 이러한 원칙을 채택하고 있습니다. 유럽위원회는 같은 해 신뢰할 수 있는 AI에 대한 윤리 지침을 준수했습니다. 2024년까지 EU는 세계 최초의 포괄적인 AI 관련 법안인 AI 법을 채택했습니다. AI 미국의 NIST(National Institute of Standards and Technology)는 2023년 1월에 AI 위험 관리 프레임워크를 출시하여 자발적이지만 널리 채택된 표준을 제공했습니다.

오늘날 AI 거버넌스는 이론적 논의에서 운영 요건으로 바뀌었습니다. 한때 이를 선택 사항으로 취급했던 조직들은 이제 이를 AI를 안전하게 확장하기 위한 기초로 인식하고 있습니다.

AI 거버넌스 프레임워크의 핵심 구성 요소

효과적인 AI 거버넌스 프레임워크는 데이터 수집 및 모델 트레이닝부터 배포, 모니터링 및 폐기까지 전체 AI 라이프사이클에 걸쳐 운영됩니다. 특정 프레임워크는 다르지만, 대부분 몇 가지 핵심 구성 요소를 공유합니다.

정책 및 표준

거버넌스는 조직 내에서 허용되는 AI 사용을 정의하는 문서화된 정책에서 시작됩니다. 이러한 정책은 데이터 취급, 모델 개발 관행, 테스트 요건, 승인 워크플로우 및 고위험 애플리케이션에 대한 제한 사항을 다룹니다. 서면 표준이 없으면 거버넌스는 일관성이 없고 시행이 불가능해집니다.

효과적인 정책은 역할과 책임도 정의합니다. 이들은 누가 새로운 AI 프로젝트를 승인하고, 누가 배포된 모델을 모니터링하며, 문제가 발생할 때 누가 책임을 지는지 명시합니다.

위험 평가 및 분류

모든 AI 시스템이 동일한 위험을 수반하는 것은 아닙니다. 제품 제안에 대한 추천 엔진은 모기지 애플리케이션을 승인하는 알고리즘과는 다른 우려를 제기합니다. 거버넌스 프레임워크는 AI 시스템을 위험 수준별로 분류하고 비례 감독을 적용합니다.

EU AI 법은 4가지 리스크 계층을 통해 이를 공식화합니다.

• 허용할 수 없는 위험: 공공 장소에서 소셜 스코어링 시스템 및 실시간 생체인식 감시와 같은 AI 애플리케이션은 완전히 금지되었습니다.
• 고위험: 필수 적합성 평가, 위험 관리 및 인적 감독에 따라 건강, 안전 또는 기본 권리에 영향을 미치는 시스템
• 제한된 위험: AI과 같이 AI 기반 애플리케이션을 공개해야 하는 특정 투명성 의무가 있는 애플리케이션
• 최소 위험: 기존 법률 이외의 추가 요건이 없는 저위험 시스템

책임 구조

거버넌스에는 명확한 소유권이 필요합니다. 대부분의 엔터프라이즈 조직에서 책임은 여러 역할에 걸쳐 있습니다. CEO와 고위 경영진은 전략적 방향을 설정하고, 법률 및 규정 준수 팀은 규제 노출을 평가하며, 데이터 사이언스 팀은 모델 성능을 관리하고, 감사 기능은 통제가 의도한 대로 작동하는지 검증합니다.

PwC의 조사에 따르면, IT, 엔지니어링, 데이터 및 AI 등 일선 팀이 이제 책임 있는 AI 업무를 주도하고 있다고 응답한 경영진의 56%는 AI 거버넌스가 조직 격차를 겪었던 불과 몇 년 전의 변화를 반영했습니다.

모니터링 및 지속적인 개선

AI 모델은 정적이 아닙니다. 유입되는 데이터 패턴이 변화함에 따라 원래 의도와 다른 출력을 생성합니다. 거버넌스 프레임워크는 비뚤림, 정확도 저하, 보안 취약점 및 컴플라이언스 편차에 대한 지속적 모니터링이 필요합니다.

이러한 모니터링은 확장을 위해 자동화되어야 합니다. 수동 검토는 프로덕션 환경에서 수백 또는 수천 개의 모델을 실행하는 조직과 보조를 맞출 수 없습니다.

AI 거버넌스 vs. 데이터 거버넌스

AI 거버넌스와 데이터 거버넌스는 서로 관련이 있지만 서로 다른 분야입니다. 두 가지를 혼동하면 두 프로그램이 적절히 다루지 않는 격차가 발생합니다.

데이터 거버넌스는 AI 거버넌스의 전제 조건입니다. 먼저 AI가 소비하는 데이터를 관리하지 않으면 AI를 책임감 있게 관리할 수 없습니다. 그러나 AI 거버넌스는 더욱 확장되어, 데이터 거버넌스만으로는 다루지 않는 알고리즘적 의사결정, 모델 불투명도 및 자율주행 시스템 동작의 고유한 위험을 해결합니다.

주요 규제 프레임워크 및 표준

AI 거버넌스에 대한 규제 환경은 빠르게 진화하고 있으며, 이제 여러 프레임워크가 AI 시스템을 개발하고 배포하는 방식을 변화시키고 있습니다.

EU AI 법

EU AI법은 전 세계적으로 가장 포괄적인 AI 관련 법률입니다. 2024년에 도입된 이 솔루션은 위험 기반 접근 방식을 통해 AI 시스템을 4개 계층으로 분류하고 요구 사항을 증가시킵니다. 고위험 시스템은 필수 적합성 평가, 기술 문서, 출시 후 모니터링 및 인적 감독 의무에 직면해 있습니다.

벌금은 3,500만 유로 또는 가장 심각한 위반에 대한 전 세계 연간 매출의 7%에 달할 수 있습니다. 이 법은 2024년 8월 1일에 발효되었으며, 2026년 8월까지 고위험 시스템에 적용됩니다.

NIST AI 위험 관리 프레임워크(AI RMF)

2023년 1월에 출시된 NIST AI RMF는 네 가지 핵심 기능을 중심으로 구축된 자발적이고 유연한 프레임워크를 제공합니다. 

1. 적용 대상: 책임감과 문화 구축
2. 지도: 상황 및 위험 이해 
3. 측정: 리스크 평가 및 추적
4. 관리: 위험의 우선순위 지정 및 대응 

이 프레임워크는 AI 거버넌스 프로그램을 구축하는 미국 기반 조직의 실질적인 표준이 되었습니다.

ISO 42001

2023년 12월에 발표된 ISO/IEC 42001은 AI 관리 시스템의 첫 번째 국제 표준입니다. AI 관리 시스템을 개발, 구현, 유지 및 개선하기 위한 조직의 요구 사항을 설정합니다. ISO 42001 인증은 AI 거버넌스 성숙도에 대한 인정된 벤치마크를 제공합니다.

부문별 규정

수평적 프레임워크 외에도, 부문별 규칙은 다음과 같은 추가 요건을 추가합니다.

• 금융 서비스: 미국 연방준비제도이사회의 SR 11-7 지침은 AI/ML 모델을 포함하여 은행에 사용되는 모든 모델에 대한 모델 리스크 관리를 요구합니다.
• 헬스케어: HIPAA의 영향은 보호대상 건강정보(PHI)를 처리하는 AI 시스템으로 확장되며, 환자 데이터가 AI 모델에 어떻게 공급되는지에 대한 거버넌스가 필요합니다.
• 정부: 캐나다의 자동 의사결정 지침은 연방 정부 서비스에 사용되는 AI 시스템에 대한 영향 평가를 요구합니다.

여러 관할권에서 운영되는 조직들은 중복되거나 때로는 상충되는 규제 요건을 조정하는 데 따르는 복잡성에 직면해 있습니다.

AI 거버넌스의 비즈니스 혜택

AI 거버넌스는 종종 컴플라이언스 부담으로 여겨지지만, AI 거버넌스를 효과적으로 구현하는 조직은 실질적인 비즈니스 가치를 실현합니다.

• 위험 감소. 구조화된 거버넌스는 모델 장애, 편향 문제 및 보안 취약점이 생산에 도달하거나 피해를 입히기 전에 이를 포착합니다. 법적 책임, 규제 벌금 및 평판 훼손을 포함하여 배포 후 AI 실패를 해결하는 비용은 거버넌스 제어 비용을 훨씬 능가합니다.
• 규제 준수. EU AI 법, NIST AI RMF 및 필수 요건을 생성하는 부문별 규정을 통해 거버넌스 프로그램은 비용이 많이 드는 위반을 방지합니다. EU AI 법만을 준수하지 않으면 벌금이 글로벌 매출의 7%에 달할 수 있습니다.
• 신뢰와 투명성. 고객, 파트너 및 규제 기관은 AI 시스템이 의사결정을 내리는 방식에 대한 가시성을 점점 더 많이 요구합니다. 설명성, 공정성 테스트 및 감사 추적을 입증할 수 있는 조직은 조달 프로세스 및 파트너십 협상에서 경쟁 우위를 확보합니다.
• 운영 효율성. 거버넌스는 AI 프로젝트의 평가, 승인 및 모니터링 방식을 표준화하여 중복된 노력을 줄이고, 배포 일정을 가속화하며, 팀의 업무 속도를 저하시키는 임시 의사 결정을 제거합니다.
• 더 빠른 확장. 성숙한 거버넌스를 가진 조직은 정책, 검토 프로세스 및 모니터링 인프라가 이미 마련되어 있기 때문에 AI를 새로운 활용 사례에 더 빠르게 배포할 수 있습니다. 거버넌스가 없다면, 각각의 새로운 AI 프로젝트는 일회성 컴플라이언스 연습이 됩니다.

AI 거버넌스 구현 방법

AI 거버넌스 구현은 일회성 프로젝트가 아닙니다. 이는 시간이 지남에 따라 발전하는 지속적인 프로그램입니다. 다음은 대부분의 엔터프라이즈 조직이 거버넌스 역량을 구축하는 방식에 부합하는 단계별 접근 방식입니다.

제1상: 평가 및 재고 관리

현재 사용 중이거나 개발 중인 모든 AI 시스템의 카탈로그 작성부터 시작하세요. 중앙의 감독 없이 개별 팀이 비공식적으로 채택한 툴을 포함하여 여러 부서에서 AI 채택의 범위를 발견하는 많은 조직들이 놀랍습니다.

각 시스템에 대해 목적, 소비하는 데이터, 소유한 사람 및 영향을 미치는 결정을 문서화합니다. 이러한 인벤토리는 위험 분류의 토대를 형성합니다.

제2상: 정책 정의 및 소유권 할당

허용 가능한 사용, 위험 분류 기준, 테스트 요건 및 에스컬레이션 절차를 다루는 AI 관련 정책을 개발하세요. 조직 전체에 명확한 소유권을 부여하세요. 경영진 후원자, 거버넌스 책임자, 모델 소유자 및 감사 부서는 모두 정의된 역할이 필요합니다.

처음부터 시작하지 마세요. NIST AI RMF와 같은 프레임워크는 조직이 특정 상황 및 위험 허용 범위에 맞게 조정할 수 있는 구조화된 템플릿을 제공합니다.

제3상: 제어 및 툴링 구현

대규모 정책을 시행하는 데 필요한 기술 제어 및 툴링을 배포합니다. 여기에는 자동화된 바이어스 감지, 모델 성능 모니터링, 드리프트 감지, 교육 데이터에 대한 액세스 제어 및 감사 로깅이 포함됩니다.

수동 거버넌스는 확장되지 않습니다. 소수 이상의 AI 모델을 실행하는 조직은 거버넌스를 기존 ML 운영 워크플로우에 통합하는 플랫폼 수준의 툴링이 필요합니다.

제4상: 모니터링, 감사 및 반복

거버넌스는 지속적이어야 합니다. 성능 저하 및 바이어스 드리프트에 대한 자동 경보를 포함하여 배포된 모델에 대한 정기적인 검토 주기를 수립합니다. 정기적인 내부 및 외부 감사를 통해 통제가 제대로 작동하는지 확인합니다.

규제가 진화하고 AI 역량이 발전함에 따라 거버넌스 프레임워크는 적응해야 합니다. 프로그램에 검토 주기를 구축하여 정책을 업데이트하고, 이해관계자를 재교육하며, 사고 또는 위기일발로부터 얻은 교훈을 통합하세요.

AI 거버넌스의 도전과제

리소스가 풍부한 조직조차도 AI 거버넌스를 효과적으로 구현하는 데 있어 실질적인 도전에 직면할 수 있습니다. 그 혜택은 다음과 같습니다:

• 혁신과 제어의 균형. 지나치게 제한적인 거버넌스는 AI 도입을 늦추고, 팀이 AI를 섀도우로 전환하여 거버넌스 감독 외부에 도구를 배치할 수 있도록 합니다. 효과적인 프로그램은 속도와 안전 간의 균형을 찾아 위험이 요구하는 경우에만 더 무거운 제어를 적용합니다.
• 교차 관할권의 복잡성. 전 세계적으로 운영되는 조직은 다양한 규제 프레임워크를 동시에 탐색해야 합니다. EU AI법에서 요구하는 사항은 아시아 태평양 지역의 미국 부문별 규칙 또는 새로운 규정과 다를 수 있습니다. 지역 간 규정 준수를 통합하려면 유연한 거버넌스 아키텍처가 필요합니다.
• 모델 불투명도. 많은 고급 AI 모델, 특히 대규모 언어 모델과 딥 뉴럴 네트워크는 블랙박스로 작동하기 때문에 특정 결정에 도달하는 방법을 설명하기가 어렵습니다. 거버넌스 프로그램은 이러한 격차를 해결하기 위해 설명 도구 및 해석 기술에 투자해야 합니다.
• 인재 및 조직 준비. AI 거버넌스에는 기술, 법률, 윤리 및 위험 관리를 아우르는 전문 지식이 필요합니다. 사내에서 이러한 조합을 제공하는 조직은 거의 없습니다. 교차 기능 거버넌스 팀을 구축하고 교육에 투자하는 것은 필수적이지만, 시간이 많이 걸리는 단계입니다.
• AI 진화에 보조를 맞추세요. 단순히 권장 사항을 생성할 뿐만 아니라 자율적인 조치를 취할 수 있는 시스템인 에이전트 AI의 출현은 기존 프레임워크가 완전히 해결하지 못하는 거버넌스 문제를 야기합니다. 기업들은 기술 자체만큼 빠르게 진화할 수 있는 거버넌스 프로그램을 필요로 합니다.

AI 거버넌스에서 데이터 인프라의 역할

AI 거버넌스는 빈틈없이 존재하지 않습니다. AI 시스템이 소비하는 데이터를 저장, 보호 및 제공하는 기본 데이터 인프라에 따라 다릅니다.

트레이닝 데이터 무결성은 모델 동작에 직접적인 영향을 미칩니다. 트레이닝 데이터 세트에 부정확하거나 편향되거나 부적절하게 소싱된 데이터가 포함되어 있는 경우, 알고리즘을 통한 감독으로 결과적인 결과를 수정할 수 없습니다. 거버넌스는 스토리지 계층에서 시작되어, 데이터에 대한 적절한 분류, 접근 통제, 암호화 및 보존을 보장합니다.

지속 가능한 스토리지는 감사 규정 준수에 중요한 역할을 합니다. 거버넌스 프레임워크는 조직들이 모델 교육 데이터, 의사 결정 로그 및 규정 준수 평가에 대한 변조 방지 기록을 유지하도록 점점 더 요구하고 있습니다. 변경 불가능한 스냅샷과 1회 쓰기 정책을 지원하는 스토리지 시스템은 이러한 감사 추적의 토대를 제공합니다.

데이터 주권 및 상주 요건은 또 다른 차원을 추가합니다. GDPR 및 EU AI 법과 같은 규정에 따라 특정 데이터는 특정 지리적 경계 내에 있어야 합니다. 스토리지 아키텍처는 사후 생각이 아닌 이러한 요구 사항을 기본적으로 지원해야 합니다.

AI 워크로드가 확장됨에 따라, 스토리지 인프라는 컴플라이언스가 요구하는 거버넌스 제어를 유지하면서 확장되어야 합니다. AI 및 분석 워크로드를 위해 특별히 설계된 스토리지 플랫폼이 범용 대안에 비해 분명한 이점을 제공합니다.

미래 전망

AI 거버넌스는 AI 기능이 더욱 자율적으로 성장하고 핵심 운영에 더욱 깊이 내장됨에 따라 강화될 것입니다.

에이전트 AI 시스템은 여러 단계의 작업을 계획하고 실행하며 외부 툴과 독립적으로 상호 작용하여 거버넌스의 다음 지평을 나타냅니다. 이러한 시스템은 모델 출력을 모니터링하는 것 이상의 실시간 감독 메커니즘을 필요로 하며, 이를 통해 조치 및 다운스트림 결과를 관리합니다.

규제 활동은 전 세계적으로 계속 가속화될 것입니다. 아시아 태평양, 라틴 아메리카 및 중동 전역의 국가들은 자체 AI 거버넌스 프레임워크를 개발하고 있으며, 컴플라이언스 매트릭스에 조직이 탐색해야 합니다. 유연한 정책, 자동화된 모니터링 및 컴플라이언스를 위해 설계된 인프라를 통해 적응형 거버넌스 프로그램을 구축하는 조직은 처음부터 다시 구축하지 않고도 새로운 요구사항을 흡수할 수 있습니다.

결론

AI 거버넌스는 기업이 컴플라이언스를 유지하고, 위험을 관리하며, 도입이 가속화됨에 따라 신뢰를 유지함으로써 AI를 책임감 있게 확장할 수 있는지 여부를 결정하는 분야입니다. 정책, 프레임워크, 책임 구조 및 전체 AI 수명주기에 걸친 지속적 모니터링 포괄합니다.

기업의 비즈니스 영향은 다음과 같습니다. 성숙한 거버넌스 프로그램을 보유한 조직은 AI 관련 사고를 줄이고, 배포 일정을 단축하며, 규정 미준수 시 상당한 재정적 처벌을 가하는 규제 요건을 충족합니다. EU AI 법, NIST AI RMF 및 ISO 42001과 같은 규정이 지침에서 시행으로 이동함에 따라 거버넌스는 선택적인 행사가 아닌 경쟁적인 요구 사항이 되었습니다.

효과적인 AI 거버넌스의 토대는 AI 워크로드를 지원하는 데이터 인프라에서 시작됩니다. Everpure™ 플래시블레이드(FlashBlade)® 및 FlashArray™는 AI 거버넌스가 요구하는 고성능의 안전한 스토리지 기반을 제공합니다. 내장된 암호화, 변경 불가능한 감사 추적을 위한 SafeMode™ 스냅샷, 개발부터 생산까지 AI 워크로드를 지원할 수 있는 확장성을 제공합니다. 에이리(AIRI)(완벽하게 준비된 AI 인프라와 결합된 Everpure는 책임감 있는 AI를 엔터프라이즈 규모로 달성할 수 있는 인프라를 제공합니다.