[설명 가능한 AI와 인간 사고의 접점: 도구인가 동반자인가]
최근에 MIT 미디어랩의 실험 보고서 「Your Brain on ChatGPT」에서 ‘인지 부채(cognitive debt)’라는 개념을 살펴본 바 있습니다. 연구진들은 AI 도구 사용이 인간 사고력에 미치는 부정적 영향을 끼치고 그것이 부채처럼 쌓여간다는 내용이었죠. 유사하게 AI의 활용 방식과 유용성에 대한 연구 중, 다른 관점의 연구를 소개할까 합니다. 바로 「A Meta-Analysis of the Utility of Explainable Artificial Intelligence (XAI)」라는 2024년 발표된 메타분석 논문입니다. 이 연구는 설명 가능한 인공지능(Explainable Artificial Intelligence, XAI)이 사용자에게 실질적인 이해력(comprehension), 신뢰(trust), 사용성(usability)을 제공할 수 있는지를 다양한 실험 데이터를 바탕으로 통계적으로 종합 분석하였습니다. AI가 인간의 사고를 보완하는 ‘도구’에 머무를 것인가, 아니면 사고를 자극하는 ‘동반자’가 될 수 있을 것인가라는 논쟁 속에서 이 두 연구는 상반된 경로를 통해 하나의 본질적 질문을 마주하게 됩니다.
[XAI는 인간 이해를 돕는가? – 설명 가능성과 사고 유도 사이]
일전의 MIT 연구는 LLM 사용이 뇌의 활성화와 기억력 저하를 유도할 수 있다는 점에서 ‘무비판적 수용’의 위험성을 강조한 반면, XAI 연구는 적절한 설명 제공이 인간의 정보 처리 과정을 오히려 강화할 수 있음을 설명하였습니다. 반면 이번의 메타분석은 총 73개의 독립 실험 연구를 기반으로 했으며, 각 연구의 참가자는 다양한 설명 방식(예: 시각화, 규칙 기반 설명, 사례 기반 설명 등)을 포함한 AI 시스템과 상호작용했습니다. 연구진은 그 효과를 메타 회귀 분석(meta-regression analysis)을 활용하여 계량적으로 통합하고, 설명 제공 여부와 설명 방식이 사용자 행동에 어떤 차이를 만드는지를 정량적으로 측정했습니다.
그 결과, 설명 가능성(explainability)은 사용자 이해력과 신뢰감 향상에 유의미한 기여를 했으며, 특히 사용자가 결정을 내릴 때 ‘왜 이 결과가 도출되었는가’를 알 수 있을 경우, AI의 출력을 더 정확하고 적극적으로 활용하는 경향을 보였습니다. 이는 단순한 결과 소비가 아니라 해석적 개입을 통해 사고의 방향을 능동적으로 조정하는 형태로 연결되었습니다. 설명을 제공받은 사용자는 오류나 편향을 탐지할 확률도 더 높았으며, 이로 인해 ‘수동적 수용자’가 아니라 ‘적극적 평가자’로 행동하게 되었습니다.
이러한 결과는 기존의 인지심리학 이론과 밀접한 관련이 있습니다. 예를 들어 Craik과 Lockhart(1972)의 ‘처리 깊이 이론(Depth of Processing Theory)’은 정보의 의미적 해석이 있을 때 더 깊은 기억 형성과 사고 연결이 가능하다고 제시한 바 있습니다. MIT 연구에서 LLM 사용자들이 생성된 텍스트를 기억하지 못한 것은 바로 이 ‘의미적 해석’ 없이 표면 정보만 소비했기 때문일 수 있습니다. 반면 XAI 사용자들은 AI의 설명을 통해 의미 연결을 시도하며 보다 깊은 사고 구조를 형성한 것입니다.
[XAI와 인지적 파트너십 – 인간 중심 설계의 길]
XAI는 해석의 ‘도움 도구’로 기능할 수 있다는 점에서 기존의 ‘도움 요청 기반 시스템(help-seeking models)’과도 통합니다. 예컨대 Scaffolding Theory(Vygotsky, 1978)는 학습자가 스스로 해결하기 어려운 문제에 대해 외부의 ‘도움대(scaffold)’를 통해 해결 전략을 개발한다고 설명한 것과 일맥상통한다고 할 것입니다. 설명 가능한 AI는 바로 이 ‘인지적 사다리(cognitive scaffolding)’ 역할을 하며, 사용자가 점차 문제를 독립적으로 해결할 수 있도록 사고의 맥락을 제시하는 조력자가 됩니다. 이는 단순히 계산 결과를 제공하는 AI가 아닌, **인지적 파트너(cognitive partner)**로 기능하는 구조로, AI가 인간의 고유한 인지 기능과 상호작용할 수 있는 가능성을 열어줍니다.
이 개념은 ‘메타인지(metacognition)’와도 관련이 깊습니다. 사용자가 AI의 판단과 자신의 판단을 비교하며 “내 생각은 왜 달랐을까?”라는 반추를 하게 되면, 이는 인지 기능의 활성화로 이어지며 실제 학습 효과를 증가시킵니다. XAI는 바로 이런 자기 점검(self-monitoring)을 유도하는 역할을 하며, 뇌파 실험에서 나타나는 전두엽의 활성화와 같은 실행 기능의 촉진 가능성도 기대할 수 있습니다.
[교육과 사회에서의 시사점 – 자기주도 학습과 내재적 동기]
결국 MIT 연구와 XAI 연구는 AI의 효과가 단순히 기술의 우열이 아니라 ‘사용 방식’에 따라 극단적으로 달라질 수 있음을 시사합니다. 무비판적 의존은 사고 능력을 저해할 수 있지만, 설명과 상호작용을 통한 AI 사용은 오히려 사고력을 확장시킬 수 있습니다. 이는 Deci와 Ryan의 자기결정이론(Self-Determination Theory)에서 말하는 ‘자기 주도적 학습(self-directed learning)’과 ‘내재적 동기 유발(intrinsic motivation)’ 구조와도 맞물립니다. 사용자가 AI와의 상호작용에서 의미를 해석하고, 판단을 내리며, 결과에 책임감을 갖는다면, 그 과정 자체가 고차원적 인지 활동이 됩니다.
따라서 향후 교육과 기술 설계는 ‘결과 제공 AI’가 아닌, ‘생각하게 만드는 AI’를 중심으로 재편되어야 합니다. XAI는 그러한 미래를 향한 중요한 실마리를 제공하고 있으며, 인간 중심 인공지능 설계의 핵심 축으로 자리 잡을 필요가 있습니다.
[참고 자료]Schemmer, N., Klenk, M., Mueller, L. et al. (2022). A Meta‑Analysis of the Utility of Explainable Artificial Intelligence in Human‑AI Decision‑Making. Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (AIES).
About the Author
AI FOCUS에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
