설명 가능한 AI② XAI(eXplainable AI) 주요 방법론
‘설명 가능한 AI(XAI·eXplainable AI)’를 구현하기 위한 다양한 방법론이 연구되고 있습니다.
1. 특성 중요도(Feature Importance)
Feature importance는 주로 트리 기반 모델(예: 랜덤 포레스트, 그래디언트 부스팅)에서 사용됩니다. 즉, 중요도를 구분하는 것이 트리의 분할과 밀접한 관련이 있다는 말이죠. 의사결정 트리는 루트 노드(root node)에서 시작해 하위 분기점(자식 노드)으로 나뉩니다. 그리고 각 분기점에서는 하나의 특성(Feature)을 기준으로 데이터를 분류하는데요. 이때 노드는 ‘지니 불순도(Gini Impurity, 한 노드에서 무작위로 선택된 두 샘플이 서로 다른 클래스에 속할 확률)’를 최소화하는 방향으로 트리가 분할되면서 최종 결정이 나오게 됩니다. 그리고 어떤 특성을 선택한 노드에서 지니 불순도가 크게 감소했다면, 최종 결정을 도출하는 데에 해당 노드와 해당 특성이 중요하다고 볼 수 있죠.
- 장점: 계산이 상대적으로 간단하고 빠르며, 모델의 전반적인 성능에 대한 중요한 특징을 식별하는 데 유용합니다.
- 단점: 모델 특정적이라는 단점이 있습니다. 트리 기반 모델에서 얻은 중요도는 다른 종류의 모델에서는 다를 수 있죠. 중요도를 단순히 순위로 제공하며, 상호작용 효과나 비선형 관계를 제대로 반영하지 못할 수 있습니다.
✓ 아하랩스 팀이 Feature Importance 기반의 XAI를 구축해 회전체 설비의 예지보전을 수행한 성공사례를 읽어보세요.
특성 중요도(Feature Importance)를 시각화한 예시 그래프. 머신러닝 모델이 예측을 할 때 각 특성이 얼마나 중요한 역할을 하는지 평가하는 방법입니다. Image Credit: Wikimedia commons
2. 국소적 설명 가능 모델-독립적 설명(LIME; Local Interpretable Model-agnostic Explanations)
LIME은 복잡한 인공지능 모델이 왜 특정 결정을 내렸는지를 이해하기 위해 사용됩니다. 예를 들어, 어떤 이미지가 ‘고양이’라고 분류된 이유를 설명할 때, LIME은 그 이미지의 특정 부분(예: 고양이의 귀나 수염)이 중요한 역할을 했다고 알려주죠.
먼저 이미지를 여러 작은 부분(슈퍼픽셀)으로 나누고, 각 조각을 마스킹하거나 마스킹하지 않은 조합으로 여러 이미지를 생성합니다. 예를 들어, 개구리 사진에서는 눈이나 다리 부분을 각각 가린 이미지를 만드는 거죠. 그런 다음, 이 이미지를 원래 AI 모델에 입력하여 각 이미지가 개구리로 분류될 확률을 계산합니다. 이 데이터로 *대체 모델(surrogate model, 실제 모델에 근사한 시뮬레이션 결과를 도출하는 단순한 모델)을 학습시켜, 특정 슈퍼픽셀이 마스킹되었을 때 블랙박스 모델의 예측에 얼마나 영향을 미치는지 분석합니다.
- 장점 : 모델의 구조를 알 필요가 없어 모델에 독립적이므로, 어떤 모델에도 적용 가능합니다. 각 특징이 개별 예측에 미친 영향을 쉽게 이해할 수 있으며, 특정 예측에 대한 상세한 설명을 제공합니다.
- 단점 : 각 예측마다 다수의 샘플링과 훈련이 필요해 시간이 오래 걸릴 수 있습니다. 동일 데이터에 대해 다른 설명이 나올 수 있으며, 데이터셋이 너무 클 경우 적용이 어렵습니다.
LIME 기반 이미지 분류 예측에 대한 설명 예시. 예측된 3개의 클래스는 “일렉트릭 기타”(p = 0.32), “어쿠스틱 기타”(p = 0.24), “래브라도”(p = 0.21)입니다. Image Credit : Ribeiro, M. T. et. al, 2016
3. 샤플리 부가 설명(SHAP; SHapley Additive exPlanations)
SHAP은 ‘게임 이론’에 기반해 AI 모델의 예측을 설명하는 기법입니다. 여기 사용되는 Shapley value는 노벨 경제학상 수상자인 로이드 샤플리(Lloyd Shapley)가 1953년에 만든 개념으로, 협력 게임 이론(cooperative game theory)에서 플레이어 각각의 기여도에 맞게 이익을 분배하는 방법이죠. SHAP는 이러한 원리를 바탕으로 각 입력 특징이 AI 모델의 예측에 얼마나 기여했는지를 계산합니다. 예를 들어 주택 가격을 예측할 때 면적, 위치, 방 개수 등이 각각 얼마나 중요한지를 보여줍니다.
구체적인 작동 원리는 다음과 같습니다. 먼저 기준 모델은 아무런 특징이 없는 상태에서 시작합니다. 예측 값이 모든 데이터의 평균인 상태이고요. 이제 모든 가능한 특징 조합을 생성한 뒤, 각 조합에 대해 모델의 예측을 계산합니다. 그리고 각 특징이 조합에 추가됐을 때 예측 값이 어떻게 변하는지 관찰합니다. 이를 통해 특정 특징이 모델 예측에 얼마나 기여했는지 알 수 있죠. 예를 들어, 수도관 두께 변화를 통한 고장 예측 연구에서 SHAP 분석 결과 파이프의 연식, 길이, 지름이 고장에 가장 중요한 영향을 미치는 것으로 나타났습니다.
✓ 예측 유지보수에 대해 더 자세히 알아보세요.
예측 모델에 대한 각 요인의 영향을 보여주는 SHAP 값의 플롯. Image Credit : doi.org/10.1002/cepa.2075
4. 계층별 타당성 전파(LRP; Layer-wise Relevance Propagation)
LRP는 신경망의 각 층에서 기여도 값을 추적하여 애초 입력 데이터가 최종 예측에 얼마나 기여했는지 계산하는 방법입니다. 각 은닉층에서 계산된 기여도 값을 이전 은닉층으로 전달합니다(타당성 전파; Relevance Propagation). 주로 이미지 분류와 같은 시각 작업에서 사용되는데요. 이렇게 은닉층 별로 계산한 값을 이용해 이미지 내 각 픽셀의 기여도를 히트맵으로 표시합니다. 예를 들어, 은닉층 별로 그려진 히트맵을 주욱 확인하다가 사람이 보기에 고양이 형상의 히트맵이 보이면, AI가 이미지를 고양이로 분류하는 데 이들 픽셀이 가장 주효했다고 해석하는 방식입니다.
- 장점 : 결과를 시각적으로 표현하기 때문에 직관적입니다. 1995년에 딥러닝의 활성화 함수를 분해하는 민감도 분석(Sensitive Analysis)이라는 기술이 있었는데요, 원래 이미지에 히트맵을 적용하지 못해서 해석력이 떨어졌습니다. 2014년에는 신경망의 연결을 역으로 재생하는 디컨볼루션 기법이 나왔어요. 하지만 은닉층 간의 연관성을 합리적으로 설명하지 못한다는 한계가 있었죠. LRP는 이 디컨볼루션을 응용하면서 이전 기법들의 단점을 극복한 기술입니다. LRP는 신경망의 내부 작동 방식을 이해하는 데 도움이 된다는 장점도 있습니다.
- 단점 : 특정 모델에 의존적이며, 신경망이 깊어질수록 계산 비용이 증가합니다. 기여도 해석에서 그치기 때문에 실제 추론 결과를 사람이 이해할 수 있게 설명하려면 추가적인 맥락이 필요합니다. 히트맵을 일일이 확인하는 것이 번거로울 수 있습니다.
LRP는 신경망의 각 층에서 기여도 값을 추적하여 애초 입력 데이터가 최종 예측에 얼마나 기여했는지 계산하는 방법입니다. Image Credit : sciencedirect.com/science/article/pii/S0031320316303582#f0010
5. DGNN의 생성 경계를 고려한 탐색적 샘플링 방식(Explorative Sampling Considering the Generative Boundaries of Deep Generative Neural Networks)
생성 모델(GANs, VAE 등)이 텍스트나 이미지를 만드는 방식을 설명하기 위한 기법입니다. 예를 들어 AI가 다양한 스타일의 그림을 그릴 때 어떤 스타일을 생성할 수 있는지 확인하고 이를 최대한 다양하게 만들도록 도와줍니다.
DGNN(딥 생성 신경망)은 이미지를 생성할 때 다차원 공간에서 데이터를 만듭니다. 이 공간은 여러 격자(grid)나 경계(boundary)로 나뉘어 있어요. 각 격자는 이미지의 특정 특징을 나타내죠. 탐색적 샘플링이란, 이 격자 사이의 이미지를 샘플링해서 생성된 이미지의 특징을 확인하는 것입니다. 예를 들어, 남자 얼굴 사진을 생성하는 모델에서 특정 격차 근처에서 샘플 이미지를 생성해보고, 생성된 이미지가 좀더 여성의 느낌을 준다면 해당 격자는 성별 특징을 조정하는 역할을 한다고 추측할 수 있습니다.
- 장점 : 각 격자가 어떤 특징을 하는지 이해할 수 있어서 이를 기반으로 의도적으로 각 격자를 제어할 수 있습니다.
- 단점 : 샘플링 과정이 복잡하고 시간이 많이 소요됩니다. 경계 값을 언어로 표현하는 과정에서 사람의 편견이 개입될 여지도 있습니다.
→ XAI는 왜 중요할까요? 다음 아티클에서 더 자세히 알아보세요. [설명 가능한 AI③ XAI와 AI 규제 준수와의 상관성?]
XAI 시리즈 더 읽기