설명 가능한 AI③ XAI와 AI 규제 준수와의 상관성?

‘딥러닝의 아버지’라고 불리는 제프리 힌턴은 2018년 12월 12일 미국 잡지 ‘와이어드’ 인터뷰에서 “AI에 설명 가능성을 요구할 이유가 없으며, 작동 결과를 사후에 평가해서 얼마나 믿을 만한 것인지 따지면 족하다”라는 취지의 발언을 했습니다. XAI의 필요성을 부정한 이야기였죠. 

하지만 8일 뒤 ‘포보스’는 반박 기사를 냈습니다. AI 개발자, 국방 연구 책임자, 글로벌 컨설팅 회사 관계자, 윤리학자 등 8명의 인터뷰였는데요. 근거는 달랐지만 XAI가 꼭 필요하다는 공통 주장을 하고 있죠.

이처럼 XAI의 필요성은 이제 업계 관계자라면 대다수가 공감하고 있는데요. XAI를 활용함으로써 AI를 안전하게 활용하는 데 필수인 요구사항을 충족시킬 수 있기 때문입니다.

1. XAI는 AI 규제를 준수하는 데 도움이 됩니다.

(1) 2024 각국의 AI 규제

AI를 활용하는 데 있어 법과 규제를 준수하는 것은 매우 중요한 문제입니다. 금융, 의료 등 누군가의 잘못된 결정이 엄청난 해악을 끼칠 수 있는, 그 때문에 규제가 엄격한 산업일수록 특히 그렇죠. 실제로 2024년 기준 최신 AI 규제는 여러 나라에서 중요한 이슈로 떠오르고 있습니다.

• 유럽연합(EU)의 AI 법(AI Act)이 가장 주목받고 있습니다. 인터넷 자료를 긁어와 얼굴 인식 데이터베이스를 만드는 Clearview AI 같은 서비스는 올해 말 금지되며, 생성AI로 만든 콘텐츠에는 사람이 알아볼 수 있는 워터마크를 붙여야 하죠. AI 시스템이 잘못된 결정을 내렸을 때 시민들이 불만을 제기하고 보상을 받을 수 있는 절차도 마련됐습니다.
• 미국에서는 2023년 10월, 조 바이든 대통령이 국가 안보, 건강, 안전 등을 위협할 수 있는 AI 개발자는 안전 시험 결과를 정부에 제출하게 하는 내용의 행정명령에 서명했습니다. 연방거래위원회(FTC)와 같은 기관이 AI의 저작권 문제와 소비자 보호에 중점을 두고 규제를 강화하고 있습니다.
• 중국은 새로운 AI 기술이 나올 때마다 그에 대한 개별 법률을 만들어 규제하고 있습니다. 현재 알고리즘 추천 서비스, 딥페이크, 생성형 AI 등에 대한 개별 법률이 존재하죠. 하지만 앞으로는 보다 통합된 법안이 나올 것으로 보입니다. 중국의 최고행정기관인 국무원은 2023년 6월, 앞으로 모든 AI를 포괄하는 법안을 도입할 예정이라고 밝혔습니다.

(2) XAI가 규제 준수에 도움이 되는 이유

XAI를 사용하면 이러한 법과 규제를 준수하는 데 도움이 됩니다. XAI가 근본적으로 AI 시스템의 결정을 이해하고 신뢰할 수 있는 기술이기 때문입니다.

• 투명성 확보: XAI는 AI 모델이 어떻게 결정을 내렸는지에 대한 명확한 설명을 제공해서 투명성을 높입니다. 이는 유럽연합의 AI 법(AI Act)처럼 AI 시스템의 투명성을 요구하는 규제를 준수하는 데 필수적이죠. XAI를 통해 기업은 AI 모델의 작동 방식을 상세히 문서화하고 이를 감사함으로써, 규제 기관의 요구를 충족할 수도 있습니다.
• 책임 소재 : XAI는 AI 시스템이 내린 결정의 근거를 제공함으로써 책임성을 높입니다. 이는 특히 AI 시스템이 잘못된 결정을 내렸을 때 중요합니다. XAI를 통해 사용자는 왜 그런 결정이 내려졌는지 이해할 수 있으며, 문제가 발생했을 때 원인을 분석하고 수정하는 데 도움이 됩니다. 이러한 기능은 앞서 언급한, 시민들이 AI 시스템에 의해 피해를 입었을 때 불만을 제기할 수 있는 절차를 따르고자 할 때 유용합니다.
• 편향성 및 차별 최소화: XAI는 AI 모델이 사용하는 데이터와 결정 과정에서 발생할 수 있는 편향성을 식별하고 교정하는 데 도움이 됩니다. 이는 AI 시스템이 대표성 있는 데이터로 훈련되고 테스트되어야 한다는 규제 요구를 충족하는 데 중요하죠. XAI를 통해 기업은 AI 모델의 편향성을 모니터링하고, 이를 최소화하기 위한 조치를 취할 수 있습니다.
• 안전성 강화: XAI는 AI 시스템의 결정 과정에서 발생할 수 있는 오류를 조기에 발견하고 수정하는 데 도움을 줍니다. 이는 AI 시스템이 중요한 결정을 내리는 의료, 금융 등의 분야에서 안전성을 보장하는 데 필수적입니다. 이러한 기능은 고위험 분야에서 AI 시스템의 사용을 규제하는 법률과도 관련이 깊습니다.

2. XAI는 AI의 사용성을 높여줍니다.

(1) XAI가 AI를 더욱 유용하게 해주는 이유

• 모델 드리프트 완화 : 모델 드리프트는 실제 AI 애플리케이션에서 자주 나타나는 문제입니다. 데이터 환경이 변화함에 따라 모델 성능이 저하될 수 있죠. XAI는 모델이 새로운 데이터를 해석하고 이를 기반으로 결정을 내리는 방법에 대한 통찰력을 제공합니다. 예를 들어, 품질 관리 모델이 더 많은 과검 케이스를 생성하기 시작하면 XAI에서 얻은 통찰력을 통해 어떤 데이터가 모델의 성능 변화를 일으켰는지 정확히 찾아낼 수 있습니다. 이런 이해를 바탕으로 AI 모델을 재조정하여 데이터 환경 변화에 대한 조치를 빠르게 취할 수 있습니다. 이를 통해 모델이 시간이 지나도 안정적이고 정확하게 유지됩니다.
• 투명성과 신뢰성 증대 : XAI는 AI의 결정 과정을 명확히 설명해서 사용자가 그 과정을 이해할 수 있게 합니다. 이는 특히 AI가 복잡한 결정을 내리는 경우에 중요하죠. 앞서도 언급했듯, 이렇게 설명을 제공하는 AI를 사용자는 더 신뢰합니다. 이를 통해 AI 채택과 활용이 더욱 촉진될 수도 있고요. 다양한 산업에서 효율성이 증대될 것입니다.
• 사용자 교육 : XAI는 사용자가 AI의 작동 원리를 이해하고 더 효과적으로 사용할 수 있도록 교육하는 데에도 도움을 줍니다. 이는 AI 도입 초기 단계에서 중요한 역할을 하는데요. 특히 산업용 AI 솔루션을 전문으로 공급하는 아하랩스 팀과 관계가 높은 제조 현장에서 이러한 측면이 부각될 것으로 보입니다. 제조 현장에서 일하는 사용자는 공정 전문가이지만 AI 전문가가 아니기 때문이죠. 다시 한번 강조하지만, 연구 결과 사용자는 심리적으로 추론 과정을 설명해주는 AI 시스템을 보다 신뢰하는 것으로 밝혀졌습니다. 당연히 교육 효과도 더욱 높을 것입니다.

(2) 알기 쉬운 UI가 중요한 이유

비전문가가 AI를 제대로 활용하기 위해서는 알기 쉬운 UI가 중요합니다. 이 글에서 설명한 XAI과 UI는 떼려야 뗄 수 없는 아주 밀접한 관련이 있으며, 서로 보완적인 역할을 하죠. 알기 쉬운 UI를 활용하면 다음과 같은 이점이 있습니다.

• 접근성 향상: 설명 기능이 포함된 직관적인 UI는 비전문가도 쉽게 접근할 수 있게 하여, AI 기술을 다양한 사람이 폭넓게 활용하도록 촉진할 수 있습니다.
• 사용자 경험 개선: XAI가 제공하는 투명한 설명과 시각적 피드백은 사용자 경험을 크게 향상시킵니다. 이해하기 쉬운 UI와 결합된 XAI는 사용자가 AI 시스템의 결정을 신뢰할 수 있게 하며, 이를 통해 사용자 만족도와 신뢰도를 높일 수 있습니다.
• 효율성 증대: XAI는 AI 모델의 의사결정 과정을 명확히 설명하여 사용자가 빠르고 정확하게 시스템을 활용할 수 있도록 합니다. 예를 들어, 금융 분야에서 XAI를 통해 대출 심사 과정의 이유를 설명하면, 사용자는 필요한 정보를 신속히 이해하고 대응할 수 있어 업무 효율성이 높아집니다.
• 오류 및 실수 감소: 사용자가 잘못된 결정을 내리는 것을 방지할 수 있습니다. 예를 들어, 자율 주행 자동차 시스템에서 XAI를 통해 차량의 행동을 설명하면, 운전자는 시스템의 결정을 이해하고 적절히 대처할 수 있어 안전성을 높일 수 있습니다.
• 포용성 강화: XAI는 다양한 사용자 그룹이 AI 시스템을 이해하고 신뢰할 수 있도록 돕습니다. 예를 들어, 교육 분야에서 XAI를 활용하여 AI 기반 학습 도구의 작동 방식을 설명하면, 다양한 배경과 능력을 가진 학생들이 AI 도구를 더 효과적으로 활용할 수 있습니다. 이는 교육의 포용성을 강화하는 데 기여합니다.

이처럼 XAI와 이해하기 쉬운 UI를 결합하면, AI 시스템의 접근성, 사용자 경험, 효율성, 안전성, 포용성을 크게 향상시킬 수 있습니다. 이는 AI 기술이 더욱 신뢰받고 널리 사용되도록 하는 데 중요한 역할을 합니다.

→ XAI를 제조 분야에서 활용할 때 어떤 이점을 얻을 수 있을까요? 다음 아티클에서 더 자세히 알아보세요. [설명 가능한 AI④ 제조업 활용 사례]

XAI 시리즈 더 읽기

[설명 가능한 AI① XAI(eXplainable AI)란? – 개념, 역사, 중요성]

[설명 가능한 AI② XAI(eXplainable AI) 주요 방법론]