해석 가능한 인공지능(Explainable AI, XAI)

"해석 가능한 AI"는 AI 모델이나 알고리즘이 내리는 결정이나 예측의 과정을 인간이 이해하고 설명할 수 있는 AI를 의미한다. 이는 AI가 왜 특정한 결정을 내렸는지를 명확하게 설명할 수 있는 능력을 갖추고 있음을 말한다. 우리 모두 알다시피 현재의 인공지능은 상황에 따라 충분히 거짓말을 하고 있기 때문이다.

 

일반적으로 AI, 특히 딥러닝 모델들은 매우 복잡하고, 그 내부 구조가 '블랙 박스'처럼 느껴질 수 있다. 이러한 모델들이 어떻게 특정 결론에 도달했는지 알기 어려울 때가 많다. 하지만 해석 가능한 AI는 이 과정에서 어떤 특성들이 중요한 역할을 했는지, 또는 어떤 규칙들이 적용되었는지를 설명할 수 있어야 한다.

 

이러한 해석 가능성은 특히 의료, 금융, 법률과 같은 민감한 분야에서 중요한데, 이는 사람들이 AI의 결정을 신뢰하고 받아들일 수 있도록 하기 위해서이다. 예를 들어, 의사결정에 사용된 데이터와 모델이 어떤 방식으로 결론을 도출했는지 이해할 수 있어야 잘못된 예측을 피하고, 이를 수정하거나 보완할 수 있기 때문이다.

해석 가능한 AI를 구현하는 방법으로는 모델의 복잡성을 줄이거나, 설명 가능한 피쳐를 사용하는 것, 혹은 모델의 출력을 사람에게 이해 가능한 방식으로 변환해 주는 도구들이 사용된다.

 

해석 가능한 AI(Explainable AI, XAI)와 관련된 논문은 최근 몇 년 동안 다양한 분야에서 많이 발표되고있다. 

1. "Why Should I Trust You?": Explaining the Predictions of Any Classifier
저자: Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin
발표 연도: 2016
설명: 이 논문에서는 LIME (Local Interpretable Model-agnostic Explanations)이라는 기법을 소개한다. LIME은 복잡한 모델이 내린 예측을 로컬하게 설명하는 방법으로, 특정 예측에 가장 큰 영향을 미친 피처를 밝히는 데 사용된다.
arXiv:1602.04938

 

2. "A Unified Approach to Interpreting Model Predictions"
저자: Scott M. Lundberg, Su-In Lee
발표 연도: 2017
설명: 이 논문에서는 SHAP (SHapley Additive exPlanations)라는 접근 방식을 소개한다. SHAP은 게임 이론에 기반한 방법으로, 각 피처가 모델 예측에 얼마나 기여했는지에 대한 직관적인 설명을 제공한다.
arXiv:1705.07874

 

3. "The Mythos of Model Interpretability"
저자: Zachary C. Lipton
발표 연도: 2016
설명: 이 논문에서는 모델 해석 가능성의 개념에 대해 비판적으로 검토하고, 해석 가능성에 대한 다양한 정의와 그 중요성에 대해 논의한다. 이 논문은 해석 가능성을 추구하는 과정에서 고려해야 할 중요한 이슈들을 다룬다.
arXiv:1606.03490

 

4. "Interpretable Machine Learning: A Guide for Making Black Box Models Explainable"
저자: Christoph Molnar
발표 연도: 2019 (Book)
설명: 이 책은 해석 가능한 머신 러닝에 대해 포괄적으로 다루며, 다양한 해석 기법과 그 적용 사례들을 설명한다. 이 자료는 연구자뿐만 아니라 실무자에게도 유용한 가이드로 사용될 수 있다.
Interpretable Machine Learning (christophm.github.io)

 

5. "Anchors: High-Precision Model-Agnostic Explanations"
저자: Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin
발표 연도: 2018
설명: 이 논문에서는 Anchors라는 새로운 해석 가능성 방법을 제안힌다. Anchors는 LIME보다 더 직관적이고 신뢰성 있는 설명을 제공하기 위해 설계된 기법이다.
arXiv:1803.03668

이 논문들은 해석 가능한 AI에 대한 깊이 있는 이해를 제공하며, 관련 연구를 시작하거나 발전시키는 데 유용할 것이다.

 

다만, 이러한 해석은 인간의 지능과 다소 차이가 있다. '거짓말로 설명하는 뇌에 대한 실험'에서 설명했듯이 우리의 뇌 역시 설명하는 과정에서 거짓말을 하기 때문이다. 그렇지만 '위대하지 않은 설계(The Poor Design)'에서 논의된 것처럼 인간의 뇌가 완벽한 디자인이 아니기 때문에 어쩌면 이 해석 가능한 AI가 좀더 발전된 지능의 후보가 될지도 모르겠다.

거짓말로 설명하는 뇌에 대한 실험

거짓말로 설명하는 뇌에 대한 실험