AI 설명이 협업 성과를 높이지 않는다?
2021년 CHI 학회에서 발표된 논문 “Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance”는 워싱턴대학교와 마이크로소프트 리서치 연구진이 공동으로 수행한 실험 연구입니다. 이 논문은 ‘설명 가능한 AI(XAI)’가 인간-AI 협업의 성과를 높인다는 통념에 정면으로 도전합니다.
지금까지 많은 연구들은 AI가 인간보다 훨씬 더 높은 정확도를 갖고 있을 때, 설명을 제공함으로써 인간-AI 팀의 평균 성능이 향상된다고 보고해왔습니다. 그러나 이 경우 역설적인 문제가 발생합니다. 인간이 AI의 결정을 검토하고 판단을 내리는 협업 구조임에도, 실제로는 AI 단독으로 작동하는 것이 더 나은 성능을 보이게 되는 것입니다. 이는 ‘협업’의 의미를 무색하게 만들며, 인간은 AI의 성능을 저해하는 요소로 전락하는 셈입니다.
연구진은 이러한 문제의식에서 출발하여, 인간과 AI가 ‘비슷한 수준의 정확도’를 보이는 상황에 주목하였습니다. 여기서의 정확도란, 특정 분류나 판단 문제에서 정답을 맞히는 비율을 의미하며, 인간과 AI 모두 약 84~87% 수준의 성능을 보이도록 조정된 상태입니다. 이렇게 양측의 판단력이 엇비슷할 경우, 서로의 오류를 보완하여 협업을 통해 ‘상보적 성능’—즉, 단독으로 일했을 때보다 더 나은 결과—을 낼 수 있는 가능성이 생깁니다.
그렇다면, AI가 자신의 판단을 설명할 때 인간이 그 설명을 바탕으로 더 나은 결정을 내릴 수 있을까요? 설명은 단순히 정보 제공을 넘어서, AI와 인간이 하나의 팀으로 작동하는 ‘의사결정 협력’을 유도할 수 있을까요? 이번 연구는 바로 이 질문을 정면으로 다루고 있습니다.
[설명, 팀워크를 도울 수 있을까? 실험으로 본 상보적 성능]
연구진은 이 질문에 답하기 위해 세 가지 과제를 설정했습니다. 첫 번째와 두 번째는 감성 분석 과제로, 아마존 도서 리뷰와 맥주 리뷰의 문장을 읽고 ‘긍정’ 또는 ‘부정’을 판별하는 과제입니다. 세 번째는 LSAT(법학능력시험) 문제 중 논리 추론 문항으로, 네 개의 선택지 중 올바른 논리적 결론을 고르는 문제입니다. 모두 일반 사용자도 풀 수 있는 상식 기반의 판단 과제이며, 인간과 AI가 유사한 성능을 보이는 문제들만을 선별하여 실험에 사용했습니다.
실험 참가자들은 아마존 Mechanical Turk를 통해 모집된 약 1,600명의 일반인들로, 이들은 무작위로 다음 조건 중 하나에 배정되었습니다. 일부 조건에서는 AI의 예측 결과와 그에 대한 신뢰도(confidence score)만을 제공받았고, 다른 조건에서는 AI의 설명도 함께 제공되었습니다. 설명 방식은 다음과 같이 다양화되었습니다:
- AI가 예측한 정답에 대한 핵심 단어 하이라이트 제공
- 예측된 상위 두 가지 선택지에 대한 비교 설명
- 전문가가 수작업으로 작성한 고품질 설명 제공
- AI의 확신도가 낮을 때만 대안을 함께 제시하는 적응형 설명
이러한 설정은 단순히 AI가 “이것이 정답입니다”라고 말하는 것을 넘어서, “왜 그렇게 판단했는지”를 설명하게 하고, 사용자가 이를 바탕으로 자신의 결정을 조정할 수 있는지를 시험하는 구조였습니다.
그렇다면, 설명이 주어졌을 때 참가자들은 실제로 더 나은 판단을 내렸을까요? 연구진은 참가자들의 최종 정답률—즉, AI와의 협업을 통해 얼마나 정확한 판단을 했는지—을 측정하여 비교했습니다. 그 결과는 다소 의외였습니다. 설명을 제공한 경우, 참가자들이 AI의 추천을 더 자주 수용하는 경향은 분명히 나타났지만, 이는 항상 긍정적인 결과로 이어지지 않았습니다. 특히 AI가 틀렸을 경우에도 설명이 설득력 있게 들리면, 참가자들이 그릇된 판단을 따라가게 되는 문제가 발생했습니다. 결과적으로 설명은 팀 전체의 성능을 유의미하게 끌어올리지 못했고, 단순히 신뢰도만 보여주는 조건과 큰 차이가 없었습니다.
[신뢰와 설명, 인간-AI 협업의 설계 과제]
이번 연구의 가장 중요한 시사점은, AI의 설명이 단순히 “왜 이렇게 예측했는가”를 보여주는 것만으로는 인간-AI 협업의 품질을 높이기 어렵다는 점입니다. 특히 설명이 제공될 경우, 사람들은 AI의 판단을 더 쉽게 수용하게 되었고, 이는 AI가 틀렸을 때조차 그릇된 결정을 그대로 따라가는 결과를 낳았습니다. 즉, 설명은 사람들의 판단을 ‘설득’하는 데는 효과적이었지만, AI의 오류를 ‘판별’하는 데는 도움이 되지 않았습니다.
실제로 실험에서는 AI의 확신도가 낮을 경우에만 대안을 함께 설명해주는 ‘적응형 설명’ 전략도 시도되었지만, 이 역시 전체 협업 성과에는 유의미한 개선을 보이지 못했습니다. 다만, 이 방식은 참가자들이 AI를 맹목적으로 따르지 않도록 유도하고, 판단의 독립성을 되찾는 데는 일정한 역할을 했다는 점에서 향후 연구 방향을 제시합니다.
이러한 결과는 일반 대중의 생활에서 AI 기술이 어떤 방식으로 도입되어야 할지에 대해 중요한 질문을 던집니다. AI가 점점 더 다양한 결정을 지원하는 상황에서, 사람들은 언제 AI를 믿고, 언제 의심해야 할지 판단할 수 있어야 하며, 설명은 그 분별을 돕는 도구가 되어야 합니다. 단순히 AI의 판단을 정당화하는 설명이 아니라, 인간이 AI의 실수를 발견하고 판단을 보완할 수 있는 정보 중심적 설명이 필요하다는 뜻입니다.
산업계에서도 이러한 통찰은 깊은 함의를 갖습니다. 기업들이 AI 기반 의사결정 시스템을 설계할 때, 단순한 설명 기능만으로는 사용자 신뢰를 얻기 어렵고, 오히려 잘못된 신뢰를 유도할 위험이 존재합니다. 따라서 설명 방식은 설득보다는 판단 지원, ‘맹목적 수용’이 아닌 ‘비판적 수용’을 촉진하는 방향으로 재설계되어야 합니다. 특히 AI와 인간의 오류 패턴이 상이할 때, 각자의 강점을 살려 상호 보완이 가능한 진정한 팀워크가 실현될 수 있을 것입니다.
향후 기술 발전에서는 AI가 사용자의 반응과 신뢰 수준에 따라 설명의 형태를 조정하거나, 설명을 통한 상호작용이 가능한 ‘대화형 AI 협업 모델’로 진화할 필요가 있습니다. 이는 단순한 기술 문제가 아니라, 인간 중심의 신뢰성과 의사결정 투명성을 동시에 고려하는, 사회적 설계 과제가 될 것입니다. AI의 설명이 진정한 협업을 이끌 수 있을지—그 성패는 이제 설명의 ‘형식’이 아닌 ‘기능’에 달려 있습니다.
Bansal, G., Wu, T., Zhou, J., Fok, R., Nushi, B., Kamar, E., Ribeiro, M. T., & Weld, D. S. (2021). Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems (pp. 1–16). ACM.