주요 콘텐츠로 건너뛰기
모델 및 기술

연구 결과: AI 챗봇의 감정 사기 수행 능력이 인간을 넘어섰다

4개 대학이 공동으로 진행한 연구에서 AI 챗봇이 연애 사기와 같은 ‘장기 사기’에서 피해자의 신뢰를 얻는 효과가 인간보다 훨씬 뛰어나며, 사기 요청에 동의한 비율도 절반에 가까운 것으로 나타났다. #AI사기#

연구 결과: AI 챗봇의 감정 사기 수행 능력이 인간을 넘어섰다

온라인 연애 사기는 인터넷 세계에서 가장 오래된 사기 수법 중 하나지만, 지금도 계속 새로운 피해자가 발생하고 있다. 4개 대학이 공동으로 진행한 연구에 따르면, 현재 AI 챗봇은 이러한 사기를 수행하는 데 있어 실제 인간보다도 뛰어난 효과를 보이는 것으로 나타나 우려를 낳고 있다.

연구 결과: AI 챗봇의 감정 사기 수행 능력이 인간을 넘어섰다

오늘날 연애 사기는 대개 데이팅 앱에서 시작된다. 사기범은 매우 매력적인 프로필을 사용해 적극적이고 열정적이며, 모든 면에서 피해자가 이상적으로 생각하는 상대의 기준에 부합하는 구애자로 가장한다.

이후 사기범은 피해자와 장시간 온라인으로 대화를 나누며, 이 과정은 보통 수개월 동안 지속된다. 사기범은 ‘장기간 해외 출장을 다녀야 한다’거나 ‘해외를 여행 중이다’라는 핑계를 대며 왜 빨리 만날 수 없는지 설명하곤 한다.

양측이 충분한 신뢰를 쌓으면 사기는 보통 두 가지 방향 중 하나로 진행된다. 한 가지는 사기범이 갑작스러운 일을 당해 곤경에서 벗어나려면 급히 돈이 필요하다고 거짓말하는 방식이다. 다른 한 가지는 자신이 투자로 큰 수익을 올렸다고 피해자에게 자랑한 뒤, 가짜 암호화폐 투자 프로젝트에 돈을 송금하도록 유도하는 방식이다.

IT之家에 따르면, 이러한 사기 수법은 ‘장기 사기(Long Con)’라고 불린다. 장기간에 걸쳐 신뢰 관계를 구축해야 하기 때문이다. 사기범은 수개월 동안 매일 피해자와 대화하는 경우가 많다. 겉보기에는 많은 시간과 노력이 필요한 방식처럼 보이지만, 실제로 이러한 사기는 대개 캄보디아, 미얀마, 라오스 등에 위치한 사기 단지에서 이루어진다. 참여자 대부분은 수입이 매우 적으며, 납치된 뒤 강제로 사기 행위에 동원되는 사람도 있다.

《Wired》에 따르면, 이번 연구는 인도 아므리타 비슈와 비디야피탐 대학교(Amrita Vishwa Vidyapeetham), 이탈리아 카포스카리 베네치아 대학교(Ca' Foscari University of Venice), 호주 멜버른 대학교, 이스라엘 네게브 벤구리온 대학교(Ben-Gurion University of the Negev)의 연구진이 공동으로 수행했다. 테스트 대상에는 ChatGPT, Claude, Gemini 등 AI 챗봇이 포함됐다.

연구진은 AI 챗봇과 실제 인간 사기범이 각각 모의 연애 사기 과정에 참여하도록 했다. 보다 정확히 말하면, 사기 초기 단계에서 장기간의 대화를 통해 신뢰를 쌓은 뒤 피해자가 가짜 프로젝트에 투자하도록 유도하는 과정을 모의 실험했다.

연구 결과, AI 챗봇은 매우 뛰어난 성과를 보였다. 실제 인간인 것처럼 성공적으로 위장했을 뿐 아니라 일부 지표에서는 실험에 참여한 실제 인간 ‘사기범’을 능가했다.

실험 참가자들은 연구의 진짜 목적을 알지 못했으며, 대화 상대가 AI인지 인간인지와 관계없이 줄곧 실제 인간과 대화하고 있다고 생각했다. 연구진은 주관적 평가와 객관적 테스트를 통해 양측이 형성한 신뢰 수준을 측정했다.

대화가 마지막 단계에 이르렀을 때 연구진이 참가자들에게 ‘애플리케이션 다운로드’와 같은 요청을 했다. 실제 인간이 단계적으로 신뢰를 쌓은 경우 이를 수락한 참가자는 18%에 불과했지만, 대화 상대가 실제로 AI였을 때는 그 비율이 절반에 가까웠다.

또한 참가자들에게 대화 상대를 얼마나 신뢰하는지 평가하도록 했을 때도 AI 챗봇이 인간보다明显하게 높은 점수를 받았다.

《Wired》는 연구 결과와 관련해 Anthropic, OpenAI, 구글에 문의했다. OpenAI와 구글은 답변하지 않았으며, Anthropic 대변인은 성명을 통해 회사 정책상 Claude를 사기나 실제 인간 사칭 등에 이용하는 행위를 명확히 금지하고 있다고 밝혔다. 또한 사기범이 Claude를 이용해 사기를 저지르는 것을 막기 위해 여러 기술적 보호 조치를 도입했다고 덧붙였다.

연구진은 이번 연구에서 가장 우려되는 점은 사기 조직이 AI 챗봇으로 실제 인간 상담원을 대체할 경우 사기 센터의 운영 규모가 크게 확대될 수 있다는 것이라고 지적했다.

AI 사기 챗봇은 많은 인력을 투입하지 않고도 수천 명의 잠재적 피해자와 동시에 대화할 수 있다. 사기 조직은 마지막 단계, 즉 피해자에게 송금하도록 유도하는 과정에서만 AI 시스템에 설정된 자체 보안 제한을 우회하기 위해 인간의 개입이 필요할 가능성이 있다.