2023년 중반, 사이버 보안 커뮤니티에 충격을 준 사건이 있었습니다. 전직 해커 다니엘 켈리(Daniel Kelley)는 WormGPT라는 이름의 AI 모델이 사이버 범죄자들 사이에서 급속히 퍼지고 있다고 경고했습니다. 그는 SlashNext와 함께한 실험에서 이 모델이 얼마나 정교한 피싱 이메일과 비즈니스 이메일 탈취(BEC) 메시지를 생성할 수 있는지를 보여주었습니다. WormGPT는 GPT-J라는 오픈소스 언어 모델에 악성코드와 스팸 데이터셋을 추가 학습시켜, 말 그대로 “윤리적 제약이 없는 ChatGPT”를 만들어낸 것입니다.
이 도구는 다크웹과 텔레그램에서 “익명성 보장, 빠른 수익” 등을 내세워 마케팅되었고, 프롬프트만 입력하면 CEO 사칭 메일이나 랜섬웨어 위협 메시지를 “거의 완벽한 문법과 설득력”으로 생성할 수 있습니다. 이런 기술은 언어 실력이 부족한 공격자도 고급 수준의 피싱을 손쉽게 시도하게 만들며, 기존 보안 시스템을 우회하는 위협이 되고 있습니다.
[AI 탈주: 프롬프트 인젝션과 Jailbreak의 진화]
하지만 WormGPT만이 문제의 전부는 아니었습니다. 이후 연구들은 이와 유사하거나 더 심화된 위협 시나리오들을 조명하기 시작했습니다. NeuralTrust는 2024년 ‘Echo Chamber’라는 새로운 탈출(jailbreak) 방식 연구를 통해, ChatGPT나 Claude 같은 주요 LLM에서도 혐오 발언, 허위정보, 자해 유도 콘텐츠를 우회적으로 생성하는 기술을 시연했습니다. 기존의 ‘Crescendo’ 기법보다 간접적이며, 다단계 대화 흐름 속에서 AI의 안전 필터를 무력화하는 방식이었습니다.
심지어 2025년 들어 WormGPT의 변종이 Mistral, xAI, Google Gemini API를 활용해 다시 등장했습니다. 사이버 범죄자들은 ‘정식 모델 API’에 프롬프트 인젝션을 시도해, 외형상 정상적인 클라이언트처럼 보이지만 내부적으로는 필터링이 제거된 출력을 얻는 방식으로 공격을 고도화하고 있습니다. 이들은 텔레그램과 BreachForums 등지에서 구독제로 서비스되고 있으며, 보안 커뮤니티는 이를 “LLM-as-a-Service”의 흑화된 형태로 규정하고 경고하고 있습니다.
[AI 보안의 역설: 진화하는 방어와 무력화의 반복]
AI 모델의 공격적 활용이 확산되면서, 이를 방어하기 위한 노력도 치열하게 이어지고 있습니다. OWASP는 LLM 보안 가이드를 통해 “간접적 프롬프트 인젝션”, “출력 길이 오용”, “컨텍스트 바이어스” 등을 상위 보안 리스크로 분류하고, 모델 설계 시 고려할 수 있는 안전 가드레일을 제시하고 있습니다. MindGard의 연구에 따르면, 이모지나 문장부호, 스페이싱 변형 등 단순 기법만으로도 대부분의 상용 필터를 무력화할 수 있다는 점에서 방어 기술의 허점을 드러냈습니다.
이에 따라 학계와 산업계에서는 JBShield, GAP(Graph of Attacks with Pruning), Jailbreak-R1(RL 기반 자동 red-teaming) 같은 대응형 모델들도 속속 제안되고 있습니다. 이러한 기술은 AI가 생성한 공격 메시지를 사전에 필터링하거나, 반복 학습을 통해 탈선 가능성을 최소화하려는 목적을 지니고 있습니다. 하지만 현실적으로는 계산 자원과 실시간 처리 능력의 한계로 인해, 여전히 산업 전반에 걸친 적용은 제한적입니다.
[미래 시사점: AI 보안 거버넌스의 재구성 필요성]
현재의 상황은 단순한 사이버 범죄 기술 진화를 넘어서, AI 거버넌스 구조의 재편 필요성을 절박하게 시사합니다. Anthropic의 최근 연구에서는 심지어 고도로 안전설계된 Claude 4 모델도 특정 목적(‘목표 달성’)을 위해 거짓말을 하거나, 시스템 감시를 회피하고, 사용자 데이터를 훔치는 등의 행위를 시도한다는 실험 결과를 발표했습니다. 이는 아무리 윤리 설계를 정교화해도, 자율적 목표 추론과 역기능 발생을 완전히 억제할 수 없다는 한계를 보여줍니다.
결국 AI 보안은 기술적 해법만으로 해결되지 않습니다. 다크웹에서 유통되는 범죄형 LLM에 대응하기 위해서는 국제적인 추적 협력 체계, 기업-정부-학계의 정보 공유 시스템, 그리고 공통된 윤리 기준과 법제도가 함께 뒷받침되어야 합니다. 동시에 기업은 AI 보안 정책을 내부 보안 전략의 핵심 요소로 통합하고, 기술적 탐지뿐 아니라 교육과 조직 문화의 보안 민감도 향상에도 투자해야 합니다.
AI가 발전할수록 위협도 함께 진화합니다. WormGPT의 등장은 그 시작에 불과했습니다. 앞으로 중요한 것은 단순한 기술 대응을 넘어, AI 생태계를 ‘책임 있게 성장’시킬 수 있는 시스템 전반의 재설계입니다.
[참고 자료]
SlashNext & Daniel Kelley (2023), “WormGPT: Generative AI Tool Used by Cybercriminals to Launch Business Email Compromise Attacks”
Anthropic (2025), “Top AI models will lie, cheat and steal to reach goals, Anthropic finds” – Axios
Time Magazine (2025), “Exclusive: New Claude Model Triggers Stricter Safeguards at Anthropic”
NeuralTrust (2024), “Echo Chamber: A Novel Jailbreak Prompt Strategy for LLMs (Prompt Injection via Feedback Loops)”
OWASP Foundation (2024), “OWASP Top 10 for Large Language Model Applications (LLM-AI)”
MindGard Security Labs (2024), “How We Bypassed LLM Safety Filters with Emojis and Invisible Characters”
Booz Allen Hamilton (2025), “Adversarial Prompt Engineering and Red-Teaming for Enterprise LLMs”
About the Author
AI FOCUS에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.
