StaySteady

설명 가능한 인공지능(XAI)란?

eXplainable Artificial Intelligence의 약자로, 설명 가능한 인공지능(XAI)은 AI가 내린 판단의 이유와 과정을 사람이 이해할 수 있도록 설명하는 기술이다. 기존 인공지능은 딥러닝이나 머신러닝의 복잡한 알고리즘 속에서 작동하며 결과만 제공할 뿐, 그 과정은 알 수 없는 블랙박스 형태였다. XAI는 이러한 한계를 극복하고, AI의 결과를 사용자에게 투명하게 전달하기 위해 등장했다.

왜 XAI가 필요한가?

기존 AI는 뛰어난 성능을 제공하지만, 결과를 설명하지 못한다는 점에서 한계가 있었다. 특히 의료나 금융처럼 고객 신뢰가 중요한 분야에서는 결과를 왜곡 없이 이해시키지 못하면 사용자가 AI를 믿기 어렵다. 예를 들어, 의료 AI가 질병을 진단했을 때 "왜 이 질병이라고 판단했는가?"를 설명하지 못하면 사용자는 결과를 수용하기 어렵다. XAI는 판단 과정과 이유를 구체적으로 제시하여 AI를 더 안전하고 신뢰할 수 있는 기술로 만든다.

XAI는 어떻게 작동하는가?

XAI는 인공지능의 결과를 설명하기 위해 세 가지 주요 접근 방식을 사용한다.

1. 기존 학습 모델 변형
   기존 학습 모델에 역산 과정을 추가하거나 모델 자체를 수정하여 결과를 설명한다. 예를 들어, 합성곱 신경망(CNN)의 결과를 설명하기 위해, 역합성곱 신경망(DeconvNet)을 추가해 이미지의 어떤 부분이 결과에 영향을 미쳤는지 시각적으로 보여주는 방식이다.
2. 새로운 학습 모델 개발
   원인과 결과를 명확히 드러낼 수 있는 학습 모델을 설계한다. 예를 들어, 확률적 AND-OR 그래프 기반 학습 모델은 데이터 간의 논리를 구조적으로 표현해 결과를 쉽게 해석할 수 있다.
3. 모델 간 비교
   다른 모델과의 비교를 통해 결과를 설명한다. 예를 들어, 이미지 분류 결과를 설명하기 위해 기존 모델과 픽셀 차이를 비교하거나 특정 특성을 기준으로 결과를 분석하는 방식이다.

XAI 기술 예시: 주요 알고리즘과 방법

XAI는 다양한 알고리즘과 기술을 활용해 AI의 판단 과정을 설명한다. 아래는 대표적인 XAI 기술과 그 특징이다. 세부 기술에 대해서는 향후 포스팅할 기회가 있으면 추가해보도록 하겠다.

1. LIME (Local Interpretable Model-agnostic Explanations)
   • 특정 예측 결과에 대해, 입력 데이터의 작은 변화를 분석해 결과에 영향을 준 요소를 도출한다.
   • 예: 이미지 분류 모델에서 특정 픽셀이 결과에 얼마나 기여했는지를 색상으로 표시.
2. SHAP (SHapley Additive exPlanations)
   • 게임 이론 기반으로 개발된 알고리즘으로, 각 특징값(feature)이 결과에 미친 영향을 수치화해 설명한다.
   • 예: 대출 승인 여부를 판단할 때, 소득, 나이, 신용 점수 각각의 기여도를 계산해 제시.
3. Grad-CAM (Gradient-weighted Class Activation Mapping)
   • 합성곱 신경망(CNN) 모델에서 특정 분류 결과와 관련된 이미지 영역을 시각적으로 강조.
   • 예: 자율주행 자동차에서 도로 표지판을 감지했을 때, 감지에 영향을 준 이미지 부분을 하이라이트.
4. Counterfactual Explanations
   • 현재의 예측 결과를 바꾸기 위해 입력 데이터를 어떻게 수정해야 하는지 설명한다.
   • 예: 대출이 거절된 고객에게 "소득이 X만큼 증가하면 대출이 승인될 수 있습니다"와 같은 구체적 피드백 제공.
5. DeepLIFT (Deep Learning Important FeaTures)
   • 딥러닝 모델에서 입력값이 출력값에 미치는 영향을 효율적으로 계산해 결과를 설명한다.
   • 예: 의료 이미지 분석에서 특정 조직의 변화가 질병 판단에 얼마나 기여했는지 수치로 표현.
6. Explainable Boosting Machines (EBM)
   • 복잡한 모델 대신 고해석성을 제공하는 기법으로, 선형성과 비선형성을 모두 고려해 데이터를 분석한다.
   • 예: 의료 AI가 특정 질병 발생 확률을 설명하며 환자의 나이, 병력 등 중요한 요인을 시각적으로 표시.
7. Anchors
   • LIME에서 발전된 기술로, 특정 예측이 발생하기 위한 최소한의 조건(앵커)을 제공한다.
   • 예: 이미지 분류 모델에서 "꼬리가 X 모양인 경우 고양이로 판단"과 같은 규칙 제시.

XAI 기술의 실제 사례

1. 의료 분야
   의료 AI는 XAI를 활용해 진단 과정에서 의사가 신뢰할 수 있는 판단 근거를 제공한다. 예를 들어, 폐 질환을 진단하는 AI는 CT 이미지에서 어떤 부분이 병변으로 판단되었는지를 강조 표시해준다. 이를 통해 의사가 AI의 판단 근거를 검토하고 활용할 수 있다.
2. 금융 분야
   대출 심사 AI는 신청자의 대출 승인을 판단할 때, 어떤 정보(예: 소득, 신용 점수)가 결정에 가장 큰 영향을 미쳤는지 설명한다. 이는 고객에게 신뢰를 제공하고, AI 결과의 공정성을 검증하는 데 도움을 준다.
3. 자율주행 자동차
   자율주행 차량은 주변 환경 데이터를 기반으로 판단을 내리는데, XAI는 특정 도로 상황에서 왜 정지했거나 특정 경로를 선택했는지 설명한다. 예를 들어, 차량이 정지 신호를 감지하고 멈춘 이유를 시각적으로 나타내는 방식이다.
4. 이미지 분석
   XAI 기술은 이미지 분류에서 특정 픽셀이 결과에 미친 영향을 강조해 사용자가 결과를 이해할 수 있게 한다. 예를 들어, 고양이와 개를 구별하는 AI는 사진 속에서 귀나 털 색 같은 특징이 분류 기준이 되었음을 시각적으로 보여줄 수 있다.

XAI가 가져올 변화

XAI는 AI 기술의 신뢰성을 높이는 데 크게 기여할 것이다. 사용자가 AI의 판단 근거를 이해하면, 결과에 대한 공감대가 형성되고 신뢰가 강화된다. 이는 의료, 금융, 법률 등 신뢰가 중요한 분야에서 특히 중요한 역할을 한다. 또한, XAI는 AI 성능 향상에도 도움을 준다. 학습 모델의 최적화를 통해 정확도를 높이고, 법적 규제 준수를 지원함으로써 다양한 산업에서 AI 활용 가능성을 넓힐 것이다. XAI는 단순한 기술적 도구를 넘어, AI의 사회적 수용성을 높이는 중요한 기술로 자리 잡을 전망이다.

석사 학위를 받고  회사에 들어와서 인공지능 기술을 연구했다.

연구를 시작하며, 인공지능에 크게 관심이 없었던 당시 최적화(Optimization)이라는 단어에 깊은 관심을 가지고 있었다. 교수님의 추천으로 빅데이터라는 단어를 접하면서 본격적으로 빅데이터와 데이터 분석이란 무엇인가에 대해 알게 되었다. 처음 신경망 네트워크를 배웠을 때는 최적화에 관심이 있었던 나로써는 눈을 반짝반짝 빛내며 금새 흥미에 빠져들었다다. 그렇게 인공지능 기술 연구의 발을 들인지 시간이 지난 지금, AI 기술을 연구하면서 느낀 문제점에 대해서 서술해본다.

1. 인공지능은 학습한 것 만을 기억한다.

인공지능의 메커니즘은 기본적으로 데이터를 기반으로한다. 데이터를 우리가 정해놓은 함수의 형식에 맞게 최적화하여 최적의 함수를 찾아내는 것이 인공지능이다. 신경망 네트워크와 같은 복잡한 모델은 우리가 생각한 것보다 훨씬 복잡한 정확성을 가지고 있으며, 놀라운 결과를 낸다. 그러나 아무리 복잡한 네트워크 모델일지라도 학습하지 못한 것들은 재구성해낼 수 없다. 사람의 능력은 연상과 추론이 가능하지만, 인공지능은 추론에 대한 성질과는 거리가 멀다.

아래 그림을 살펴보자. 인공지능에게 빨간점들을 위치를 알려주고, 파란색 박스의 위치를 찾아내보라고 하면, 사람이고 인공지능이고 이건 맞추지 못한다. 

이러한 인공지능의 특성이 치명적으로 작용하는 경우가 있는데, 바로 안전성과 직결된다는 점이다. 나는 Mobility의 솔루션을 연구하는 쪽에서 일하면서 이러한 예외처리가 항상 문제로 다가왔다. 새로운 상황에 대한 터무니없는 결과를 내놓으며, "이거 이렇게 만들어도 되는건가...?" 하는 윤리적인 의구심이 들었다. (예외에 대한 기술을 만들기 위해서 많은 사람이 노력한다. 경계 하지 않으면 정말 위험하다.)

2. 인공지능은 책임을 지지 않는다.

두 번째는 인공 지능의 책임론이다. 사실 신경망 네트워크고 다른 여타 기계 학습 알고리즘이더라도, 수식을 기반으로 만들기 때문에 이론적으로는 역추론이 가능하다. 이러한 점들을 활용하여 일부 연구진들은 XAI(eXplainable Artificial Intelligence, 설명가능한 인공지능)을 만들어가기도한다. 그러나, 실상 인공지능에 대한 솔루션을 제공할 때, 인공지능이 학습되지 않은 특별한 상황에 대해서 대처하지 못하는 만큼, 잘못된 결과를 도출할 경우 인공지능을 제공해준 솔루션 업체에 책임론을 제기할 수 있는가? 

2021년 11월 GPS 기술로 탑재된 스마트 워치의 잘못된 결과 도출로 인하여, 범죄에 노출된 사례가 발생하였다. 피해자는 평소 스마트 워치가 본인의 신변을 지켜줄 것이라고 생각하며 안심했다고 한다. 그러나 피해자가 경보를 울렸던 스마트 워치의 결과는 GPS의 오차로 인한 잘못된 위치였고, 경찰이 엉뚱한 곳으로 출동했다고 한다. 

그럼 여기서 이 사건에서 스마트 워치 개발자는 오차를 줄이지 못한 것에 대한 책임이 있는가?

인공지능과 센싱 기술은 데이터로 묶여 있어, 뗄레야 뗄 수 없는 사이 있다. 그러나 잘못된 계측으로부터 발생한 오탐지의 경우, 터무니 없는 결과를 불러일킬 수 있는 여지는 여전히 남아 있으며, 이러한 문제는 센서를 중복(Redundancy)으로 달아 해결하고자한다. 그러나, 이외의 새로운 상황에서 대처할 경우 인공지능은 책임지지 않는다. 그리고 그 범위도 명확하지않다.

3. 인공지능은 라벨링된 고품질 대량의 데이터를 요구한다.

세 번쨰는 인공지능의 원천(Source) 데이터에 관한 이야기이다. 인공지능은 문제를 알려주고, 정답도 알려준 후 새로운 문제에 대해서 답을 맞추는 형식으로 개발된다. 이러한 방법론은 지도학습(Supervised Learning)이라고 불리우며, 이외의 다른 방법은 정답을 알려주지 않은 채 학습하는 방식을 비지도학습(Unsupervised leanring)이라고 불리운다. 물론 지도학습이 항상 우세한 것은 아니나, 아무래도 정답 데이터가 요구되는 만큼 지도학습은 인공지능 기술에서 중요한 부분을 차지하고 있다. 문제는 여기서 학습의 뼈대를 열심히 만들어도, 곳곳에 데이터를 넣어 건물을 세워야하는데 건물을 세울 데이터가 없다는 것이다. 또 인공지능은 대부분의 솔루션에서 일반화(Generalization)이라고 불리우는 능력을 갖도록 광범위한 곳에 사용되길 원하기 때문에 고품질의 정답을 가진 대량의 데이터를 요구하게된다. 한마디로 대형 빌딩이라는 것이다. 이러한 인공지능은 연구의 수익화, 연구의 사업화 관점에서는 가히 데이터에 대한 대규모 투자가 이루어져야하는 한계를 가지고 있다.

여기까지 비판적으로 바로본 인공지능의 문제점들이다. 물론 문제점들을 해결하기 위하여 많은 연구진들이 노력을 기하고 있는 것으로 안다. 인공지능이 급격하게 줄어들었던 AI 겨울 이후에, 폭발적으로 증가한 인공지능 시장에서 비슷한 문제들을 갖고, 확산하기 위하여 노력하고 있는 것으로 한다.

정부에서는 초등학생들도 코딩교육, 취업자에게도 인공지능 기술에 대한 많은 교육을 하고 있는 것으로 보이지만, 정작 처음 배울때는 이러한 한계점을 알려주는 사람은 많지 않아 보인다. 이러한 점들을 경계해두고 개발에 참여하면 시행착오를 줄이고 더욱 좋은 솔루션로 개발할 수 있는 길이 되지 않을까 생각해본다.