5 min read
인공지능(AI) 알고리즘은 수백만, 심지어 수십억 개의 입력 데이터를 테스트하고 분석하여 의사결정에 영향을 미칠 최종 결과를 도출하지만, 그와 같은 결과에 이르게 된 근거나 과정을 사람들이 명확하게 이해하지 못한다는 면에서 블랙박스로 여겨져 왔다. 그러나 많은 새로운 변수들이 작용을 하면서 설명 가능한 AI, 즉 XAI(explainable AI)로 나아가고자 하는 움직임이 일어나고 있다. AI 모델은 훈련 데이터와 알고리즘을 사용하여 출력(output)을 도출한다. AI 모델에 새로운 정보를 투입하면 AI 모델은 이 정보를 사용하여 일종의 응답을 추론한다. 가령 어떤 소비자가 온라인 판매 사이트를 방문했을 때를 예로 살펴본다면, 이전 구매, 검색 기록, 나이, 위치 및 기타 인구통계 정보와 같은 해당 고객과 관련된 데이터를 사용하여 맞춤 상품을 추천할 수 있다. AI를 사용하여 고객을 여러 다른 그룹으로 세분화하고 각각 다른 추천 상품으로 맞춤 공략할 수도 있다. 이 때 AI 모델이 고객을 어떻게 세분화했는지 그 방법과 이유를 이해한다면, 각 고객 그룹별로 더 나은 마케팅 전략을 수립하고 적용할 수 있을 것이다. 구체적으로 예를 들어 살펴보면, AI를 사용하여 고객을 확실한 구매자, 망설이는 구매자, 둘러만 보는 아이 쇼퍼의 세 그룹으로 나누고, 각 그룹별로 다른 조치를 취할 수 있다. 확실한 구매자는 이미 해당 상품을 구매했으니 다른 관련 제품으로 상향 판매를 유도할 수 있고, 망설이는 구매자에게는 할인코드나 상품권을 전송하여 구매 완료 가능성을 높일 수 있다. 아이 쇼퍼는 어떤 혜택이나 상품을 제시해도 구매할 가능성이 낮기 때문에 이 사람들에게는 어떤 마케팅 활동도 하지 않음으로써 예산과 노력을 아낄 수 있다. 다시 말해 AI가 세분화를 수행하는 방식을 이해한다면 각 그룹별 더 효과적인 마케팅 전략을 세울 수 있게 된다.
설명 가능한 AI 가 특히 마케팅에서 중요한 이유
그렇다면 AI 모델은 어디까지 설명할 수 있을까? 그 정도는 무엇을 이해하고자 하는지에 달려 있다. 사용된 알고리즘의 작동 방식과 같은 메커니즘을 알 필요는 없겠지만, 어떤 기능 또는 어떤 입력 데이터가 모델이 도출하는 제안에 영향을 미치는지는 알아야 후속 조치를 취할 수 있다. 예를 들어보자. AI가 어떤 소비자를 망설이는 고객으로 정의한 것은 여러 신호를 감지한 결과이다. 한 아이템 위에서 마우스가 여러 번 움직였거나 또는 장바구니에 품목을 담아두고 오랫동안 결제를 하지 않고 있는 상태 등이 시그널이 된다. 이 두 경우에 대응하는 전략은 서로 다를 것이다. 전자의 경우, 고객이 관심을 보였던 아이템과 비슷한 품목들을 다양하게 추천할 수 있다. 후자의 경우, 한정된 시간 동안만 사용할 수 있는 무료배송 쿠폰을 제공하여 구매 완료를 유도할 수 있을 것이다. 즉, 모델이 어떤 결정을 내리는 데 핵심 역할을 한 요소들이 무엇인지를 알아야 한다. 알고리즘 자체를 이해하기는 힘들지만, 어떤 요소가 그와 같은 결정을 주도했는지 알면 모델을 더 쉽게 해석할 수 있다. 우리가 설명 가능한 AI라고 할 때 그것은 복잡한 전체 모델을 이해하는 것이 아니라 그 모델이 출력하는 결과물에 영향을 미칠 수 있는 요소들을 이해하는 것을 의미한다. 모델이 작동하는 방식을 이해하는 것과 특정 결과에 도달하게 된 이유를 이해하는 것에는 큰 차이가 있다. XAI를 통해 시스템 소유자 또는 사용자는 AI 모델의 의사결정 과정을 설명하고, 프로세스의 강점과 약점을 이해할 뿐 아니라 시스템이 어떤 방식으로 계속 작동할 것인지를 표시할 수 있다. 이미지 인식에서도 AI 모델에게 사진의 특정 영역에 집중하라고 지시하면 영역에 따라 서로 다른 결과를 얻을 수 있다. 이미지의 어떤 부분이 모델로 하여금 특정 결과나 결정을 도출하도록 유도하는지 이해함으로써 AI 모델의 동작을 더 잘 해석하고 설명할 수 있다. XAI는 전략 관련 중대한 의사결정을 도울 뿐만 아니라 마케터와 여타 AI 모델 사용자들이 경영진과 이해관계자들에게 결과를 설명할 수 있도록 한다. 이는 모델이 도출한 결과와 특정 전략을 채택한 이유를 정당화할 때 유용할 수 있다. 하지만 모든 AI 모델이 설명하기 쉬운 것은 아니라는 사실을 이해하는 것도 중요하다. 일부 학자들은 의사결정 트리(decision tree)와 베이시안 분류기(Bayesian classifier)와 같은 알고리즘이 이미지 인식이나 자연어 처리에 사용되는 딥 러닝(deep learning) 모델보다 더 해석하기 쉽다는 점에 주목한다. 또한 정확성과 설명가능성 사이에 균형도 유지해야 한다. 일반적으로 모델이 복잡해지면서 더 나은 성능을 얻을 수 있지만, 비전문가가 작동 방식을 설명하기는 더 어려워지기 때문이다.
설명 가능한 AI 와 AI 모델들의 편향성
모든 AI 모델에는 편향성이 존재한다. 훈련 데이터에 편향이 포함될 수 있기 때문이다. 알고리즘 또한 의도적이든 우연이든 편향적으로 설계될 수 있다. 그러나 모든 AI 편향이 부정적인 것은 아니라는 사실에 주목해야 한다. 편향성을 활용하여 더 정확한 예측을 도출할 수 있다. 단지 인종, 성별 등 민감한 영역에 적용되는 경우 신중하게 사용해야 한다. 설명 가능한 AI는 모델이 결정을 내리기 위해 좋은 편향을 사용하는지 나쁜 편향을 사용하는지 구분하는 데 도움을 준다. 또한 모델이 결정을 내릴 때 어떤 요소를 더 중요하게 평가하는지 알려준다. XAI가 편향을 감지하지는 못하지만 모델이 그와 같은 결정을 내리는 이유는 이해할 수 있도록 도와준다. XAI는 또한 AI 모델을 훈련하는 데 사용된 데이터에서 편향이 생기는지 모델이 라벨마다 지정한 가중치의 차이에서 생기는지를 이해하는 데도 도움된다.
신뢰의 문제
많은 사람들에게 AI는 데이터가 들어가는 블랙박스로, 그리고 AI가 도출하는 출력물이나 액션은 불투명한 알고리즘 집합들의 결과물인 것처럼 보인다. 이는 모델이 초기에 얼핏 직관에 반하거나 심지어 틀린 것처럼 보이는 결과를 제공했을 때 불신으로 이어질 수 있다. XAI는 인간이 이런 모델들을 보다 합리적으로 이해하여, 모든 사람들이 결과를 보고 그 결과의 사용 여부를 결정할 수 있도록 지원한다. 인간을 의사결정 과정의 일부로 끌어들이고, 최종 결정이 내려지기 전에 인간이 개입할 수 있도록 함으로써 전체 의사결정 프로세스에 대한 신뢰를 한층 높이는 역할을 한다. 앞으로는 AI 모델이 어떻게 특정 결정에 이르게 됐는지에 대한 설명을 제공할 수 있을 것으로 기대된다. 그러면 그 결정에 대한 판단을 내릴 수 있어 모델을 만든 개발자의 책임성을 높일 수 있다. 즉, AI 모델이 도출하는 결정을 추적할 수 있고, AI 모델이 어떻게 작동하는지 설명할 수 있는 시스템이 나올 것이다.
다양한 형태의 설명 가능한 AI 모델 구축
학계에서는 추가적인 설명을 용이하게 하는 AI 또는 다른 기술 관련 논문들이 이미 많다. 모델에 따라 설명할 수 있는 정도가 다른데, 딥 러닝 모델의 경우 설명하기가 매우 어렵기 때문에 딥 러닝 모델의 행동을 모방할 수 있는 프록시 모델 사용을 제안하는 학자들도 있다. 프록시 모델은 딥 러닝 모델보다 설명하기가 쉽기 때문이다. XAI를 구축하는 또 다른 방법은 구조적으로 더 설명하기 쉬운 모델을 설계하는 것이다. 신경망(neural network)에서 더 적은 매개 변수를 사용하면 덜 복잡하면서 비슷한 수준의 정확도를 제공할 수 있어 모델을 더 설명하기 쉽게 디자인할 수 있다. 점점 더 많은 기업들이 AI를 구축하고 있는 상황에서 이러한 모델들이 어떻게 작동하는지 이해하는 것이 무엇보다 중요하다. 그래야 AI 모델이 내리는 결정을 이해할 수 있고, 원치 않는 편향을 알아챌 수 있고, 시스템을 신뢰할 수 있다. XAI는 블랙박스인 인공지능과 머신러닝을 사람이 들여다볼 수 있는 투명한 유리박스로 탈바꿈한다.
* 이 글은 동아닷컴에 게재된 애피어 최고 ML 과학자 슈드 린(Shou-de Lin) 박사의 기고입니다. 원 기사는 여기서 확인할 수 있습니다.
