설명 가능한 AI① XAI(eXplainable AI)란? – 개념, 역사, 중요성
XAI(자이, Explainable AI)란 무엇인가?
XAI(Explainable AI, 설명 가능한 AI)는 AI 시스템의 의사결정 과정을 인간이 이해할 수 있도록 만드는 기술입니다. XAI는 AI 모델이 어떻게 결론을 도출했는지를 설명함으로써 AI의 투명성을 높이고, 사용자가 AI의 판단을 신뢰할 수 있도록 돕습니다.
AI 개발 역사와 XAI 등장 배경
(1) 규칙 기반 전문가 시스템
1970년대~1990년대까지 MYCIN, GUIDON, SOPHIE 같은 대표적인 추론 시스템이 있었습니다. 이들 시스템은 각각 진단, 교육, 기계학습 목적으로 사용되었고, ‘전문가 시스템’이라고 불렸습니다. 예를 들어, 1970년대 초 균혈증 진단을 위한 연구 프로토타입으로 개발된 마이신(MYCIN)은 특정 사례에서 어떤 코딩 규칙이 이러한 진단결과에 기여했는지 사람이 파악할 수 있었습니다.
모두 ‘사전에’ 프로그래밍된 규칙과 지식을 사용해서 논리 연산을 수행하는 AI였습니다. 그렇다면 그 논리 연산 과정을 풀어 쓰면 결론에 대한 설명이 되겠죠? 실제로 전문가시스템이 사용자에게 추가 정보를 요구하는 질문을 던졌을 때 자세한 설명을 곁들이면 사용자가 전문가시스템을 더 신뢰하고 더 잘 활용하는 현상이 관찰됐습니다. 1992년에 발표된 렉스(REX)는 전문가시스템의 추론 과정을 이야기 형태로 바꿔 출력하는 것으로 긍정적인 평가를 받았죠.
(2) 블랙박스의 등장!
1990년대 후반 들어 인공신경망 연구가 부활하면서 더 복잡한 모델들이 등장하기 시작했습니다. 이런 시스템은 규칙 기반의 전문가 시스템과는 정반대의 철학을 갖고 있습니다. 많은 양의 데이터를 던져주고 AI 스스로 필요한 규칙과 지식을 찾도록 하는 방식이죠. 2016년 이세돌 9단을 이긴 알파고도 이 계열에 해당합니다. 인공신경망 덕분에 이전까지 컴퓨터가 할 수 있으리라 상상하기 어려웠던 많은 일들을 사람보다 더 빠르고 더 정확하게 하기 시작했죠.
(3) 2010년대 후반 설명 가능한 AI의 필요성 증대
하지만 과거와 달리 사용자들은 AI의 추론 과정을 추적할 수 없었습니다. 현대 딥러닝의 단초가 된 퍼셉트론(Perceptron)을 만든 선구자 프랭크 로젠블랫(1928~19971)은 일찍이 인공신경망을 ‘블랙박스’라고 부른 바 있죠.
실제로 최신 AI가 인간 설계자가 무의식적으로 포함시킨 미묘한 요구, 혹은 도메인 데이터의 복잡성을 고려하지 않은 채 바람직하지 않은 트릭을 학습하기도 한다는 사실이 밝혀졌습니다. 2017년 한 연구팀이 최고 성능의 AI 두 대가 동물 사진에서 말(horse)을 어떻게 인식하는지 알아내는 연구를 했는데요, 하나는 동물의 특징에 정확히 초점을 맞춘 반면, 다른 AI는 각 말 이미지의 왼쪽 하단에 있는 픽셀을 기준으로 판단했습니다. 그 픽셀에는 말 사진의 저작권 태그가 포함되어 있는 것으로 밝혀졌죠.
요컨대, AI가 완전히 엉뚱한 이유로 완벽하게 작동한 겁니다. 이 경우는 완벽하게 작동한 것으로 드러났지만, 보다 심각한 문제에서 엉뚱한 이유로 영 잘못된 결론을 내린다면 어떻게 될까요? 사후에 드러나기 전까지 인간 사용자는 그것이 잘못된 결론인지도 인지하지 못할 텐데요. 그래서 설명 가능한 AI(XAI, eXplainable AI)에 대한 요구가 급증했고, 특히 의료, 자율주행차, 금융 등 영향력이 큰 결정을 내리는 분야에서 공감대가 커졌습니다.
미국 방위고등연구계획국(DARPA)의 XAI 프로젝트
지능적이고 자율적이며 안정적인 시스템을 개발해야 하는 문제에 직면한 미국 국방부에게도 이 문제는 특히 중요했습니다. 사람의 생명이 좌지우지되니까요.
2017년, 미국 방위고등연구계획국(DARPA)이 XAI 프로젝트를 시작했습니다. AI의 성능을 크게 희생하지 않으면서 인간에게 추론 과정을 설명할 수 있는 ‘유리 상자(glass box)’ 모델을 생성하는 것을 목표로 했죠. 속을 알 수 없는 블랙박스와 대비되는 개념입니다.
DARPA의 XAI 개발 전략은 다음과 같은 두 가지 요소로 구성됩니다.
(1) 설명 가능 모델
기존의 머신러닝 기술을 변형하거나 새로운 머신러닝 기술 개발을 통해 고차원의 학습 능력을 유지하면서 설명 가능성을 향상시키는 연구를 수행하며, 심층설명학습(deep explanation), 해석 가능한 모델(interpretable models), 모델 귀납(model induction) 등의 가능한 전략을 통해 개발됩니다.
(2) 설명 인터페이스
HCI(Human-computer Interaction)을 이용하여, 모델의 의사 결정에 대한 설명을 사용자가 이해할 수 있는 방식으로 표현하는 연구입니다. ‘설명 인터페이스’는 설명 가능성과 정정 가능성의 2가지 원칙이 충족되어야 합니다.
DARPA의 XAI 프로젝트는 AI 성능을 유지하면서 인간이 이해할 수 있는 설명 가능한 모델과 설명 인터페이스를 개발하는 것을 목표로 합니다. Image Credit : DARPA
DARPA 프로젝트 외에도 많은 연구자들이 유리 상자 모델을 만들고 있습니다. 2018년에는 AI을 포함한 사회 기술 시스템의 맥락에서 투명성과 설명 가능성을 연구하기 위한 ACM FAccT(Association for Computing Machinery Conference on Fairness, Accountability, and Transparency) 조직도 설립됐고요. 현재 활발히 개발, 적용되고 있는 기술에는 Feature Importance, LIME, SHAP 등이 있습니다. 예컨대 어떤 기술은 뉴런이 가장 강하게 반응하는 입력을 시각화해줍니다. 이를 통해 AI 모델의 추론 과정을 추적할 수 있습니다.
→ 다음 아티클에서 XAI를 구현할 수 있는 주요 기술적 방법론을 자세하게 알아보세요. [설명 가능한 AI② XAI(eXplainable AI) 주요 방법론]
XAI 시리즈 더 읽기