AI 시스템은 생각보다 쉽게 흔들릴 수 있습니다. 훈련 데이터에 특정한 패턴이나 편향이 존재할 경우, AI는 그 편향을 ‘규칙’처럼 학습하고 오판을 하게 됩니다. 예를 들어, 구급차 이미지를 학습한 AI가 배경에 병원이 없다는 이유로 일반 차량으로 잘못 분류하는 식입니다. 인간은 이런 오류를 쉽게 간파하지만, AI는 훈련되지 않은 상황에 매우 취약합니다. 그렇다면, 인간과 AI가 협업한다면 이런 문제를 해결할 수 있을까요?
2022년 10월 「Nature Machine Intelligence」에 실린 마크 스타이버스(UC Irvine) 교수팀의 논문은 바로 이 질문을 다룹니다. 제목도 명확합니다. “Human–AI collaboration enables more robust AI.” 이들은 인간이 가진 판단의 유연성과 AI의 데이터 기반 분석력을 결합하면, 단순한 정확도를 넘어서 ‘편향에 강한 견고한 시스템’을 구축할 수 있다는 점을 실험으로 증명했습니다.
[편향을 보완하는 협업 구조]
연구진은 먼저 AI가 ‘편향된 데이터’에서 어떤 식으로 취약해지는지를 설계했습니다. 예를 들어, AI에게 ‘개’ 이미지를 학습시킬 때, 대부분의 사진이 잔디밭 위에 있거나 특정 색상의 배경을 포함하도록 데이터셋을 조정한 것입니다. 이는 ‘클래스’, 즉 이미지가 속한 분류 범주(예: 개, 고양이, 고슴도치 등)를 특정 배경 조건과 연결되게 만들기 위한 조치였습니다. 실제 세상에서는 개가 어디서든 등장할 수 있지만, AI에게는 “잔디밭 = 개”라는 잘못된 규칙이 학습되도록 유도한 것이죠.
그렇게 훈련된 AI는 테스트 단계에서 낯선 배경의 개를 보고 당황합니다. 예를 들어, 하얀 실내에서 찍힌 개의 이미지를 ‘고양이’나 ‘토끼’로 잘못 인식하는 일이 생기는 겁니다. 이는 AI가 진짜 개의 형상이 아니라, 배경이라는 ‘엉뚱한 신호’에 의존해 학습했기 때문입니다.
이런 상황에서 인간이 개입합니다. 실험 참가자들은 AI의 예측 확률—예를 들어, “이 이미지는 고양이일 확률 80%, 개일 확률 15%”—을 참고하며 최종 분류를 직접 선택합니다. 여기서 중요한 점은, 인간이 단순히 AI를 보조하거나 뒷받침하는 역할이 아니라, 때로는 AI가 자신 있게 틀릴 때 그 오류를 정정하는 감시자이자 교정자의 역할을 수행한다는 점입니다.
참가자들은 화면 속 동물을 보고 AI의 제안을 검토한 뒤, “이건 아무래도 개 같다”고 판단하고 기계를 거슬러 답을 바꾸는 과정을 반복했습니다. 이 협업은 마치 AI가 내비게이션처럼 경로를 제시하고, 인간이 운전대를 잡고 상황에 따라 판단을 조정하는 방식에 가깝습니다.
결과는 분명했습니다. 인간-AI 협업은 단독 AI보다 훨씬 더 높은 견고성을 보였습니다. 특히 AI가 편향된 학습 데이터를 바탕으로 잘못된 예측을 할 가능성이 높을 때, 인간의 직관이 그 오류를 효과적으로 보완했습니다. 반대로 인간이 혼란스러워할 만한 이미지에서는 AI가 일정한 기준을 제공해 결정에 도움을 주었습니다. 여기서 견고성(robustness)이란, 단순히 전체 평균 정확도가 높은 것이 아니라, 훈련되지 않은 조건이나 예외적인 상황에서도 예측의 신뢰도가 유지되는 정도를 뜻합니다. 이 개념은 단지 이론적인 이상이 아니라, 실제 실험에서 AI 성능의 흔들림을 계량적으로 측정하고 비교하는 기준으로 작용했습니다.
[더 견고한 AI를 위한 협업 설계]
이번 연구는 AI의 성능을 ‘정확도’라는 단일 기준이 아닌, ‘다양한 조건에서도 일관되게 작동하는가’, 즉 견고성이라는 관점에서 새롭게 조명한 점에서 의미가 큽니다. 기존의 인간-AI 협업 연구가 “정답률을 얼마나 올릴 수 있는가”에 집중했다면, 이 연구는 “AI가 틀릴 때 인간이 어떻게 보완할 수 있는가”를 중심에 둡니다.
흥미로운 점은, 인간이 AI보다 평균적으로 더 정확한 경우에도, AI와의 조합이 인간 두 명이 협업하는 것보다 더 나은 결과를 낸다는 사례가 확인됐다는 것입니다. 이는 AI가 실수하는 방식이 인간과 다를 때 오히려 더 큰 보완 효과를 낼 수 있다는 점을 보여줍니다. 서로 다른 오류를 하는 파트너와의 협업이야말로, 가장 강력한 조합이 될 수 있다는 실증적 증거인 셈입니다.
이 연구는 우리에게 중요한 메시지를 던집니다. 더 강력한 AI를 만드는 길은, AI 자체를 완벽하게 만드는 것이 아니라, 인간이 개입할 수 있는 협업 구조를 정교하게 설계하는 것이라는 사실입니다. 앞으로의 인공지능 시스템은 기술적으로 더 뛰어난 것뿐 아니라, 인간과 어떻게 함께 작동할 수 있을지를 중심에 두고 설계되어야 할 것입니다.
[참고 문헌]
Valmeekam, K., Kerrigan, G., Tejeda, H., Steyvers, M., & Smyth, P. (2022). Human–AI collaboration enables more robust AI. Nature Machine Intelligence, 4, 917–928.
About the Author
AI FOCUS에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
