By WILL KNIGHT, WIRED US

챗GPT는 웹 검색 혁신과 사무실 잡무 간소화, 교육 재구성 등과 같은 훌륭한 성과를 거둘 수 있을 것이다. 그러나 원활한 대화 능력을 갖춘 챗봇이 SNS 암호화폐 광고 작성이라는 또 다른 역할도 찾았다.

인디애나대학교 블루밍턴 연구팀은 2023년 5월, 챗GPT를 기반으로 한 봇넷이 X(구 트위터)에서 작동 중이라는 사실을 발견했다.

Fox8이라는 이름의 일부 변형 버전을 포함한 암호화폐 웹사이트와 연결하여 연구팀이 Fox8라고 칭한 해당 봇넷은 계정 1,140개로 구성되었다. 다수 계정이 챗GPT를 이용하여 SNS 게시글을 생성하고, 다른 봇넷의 게시글에 답글도 게재하였다. 자동 생성된 콘텐츠는 사기를 의심하지 않는 인간 사용자가 링크를 클릭하여 암호화폐 홍보 웹사이트로 연결하도록 설계되었다.

인공지능(AI) 기반 거짓 정보의 잠재적 영향을 연구한 연구원인 미카 무서(Micah Musser) 박사는 대규모 언어 모델과 챗봇의 인기가 커진 사실을 고려했을 때 Fox8 봇넷은 빙산의 일각일 수도 있다고 주장했다. 무서 박사는 “Fox8과 같이 AI 챗봇으로 생성한 봇넷은 손쉽게 생성할 수 있다. 온라인에서 찾는 암호화폐 광고 모두 다른 첨단 기술을 이용한 작업이 포함되었을 확률이 높다”라고 말했다.

Fox8 봇넷은 오랫동안 널리 확산되었으나 챗GPT 사용 사례는 챗봇 수준만큼 훌륭하게 발전하지 않았다. 연구팀은 Fox8 봇넷이 챗GPT의 민감한 명령어에 대한 전형적인 답변인 “AI 언어 모델로써…”라는 표현을 검색한 사실을 확인했다. 이후 봇넷은 수동으로 계정을 분석하고는 봇넷이 조작한 것으로 드러난 광고를 찾아냈다.
 
노스이스턴대학교 박사후 연구원 과정에 합류할 예정인 학생 카이청 양(Kai-Cheng Yang)과 함께 봇넷 연구를 이끈 필리포 멘체르(Filippo Menczer) 인디애나대학교 블루밍턴 교수는 “Fox8 봇넷에 주목한 유일한 이유는 봇넷이 매우 허술하기 때문이다”라고 밝혔다.

통제할 수 없으나 Fox8 봇넷은 어느 정도 설득력이 있는 암호화폐 웹사이트를 홍보하는 메시지 여러 개를 작성했다. 손쉽게 사용할 수 있다는 점이 분명한 챗GPT를 암호화폐 스캠에 악용한 것이 분명하다는 점은 AI 기반 첨단 챗봇이 아직 발견되지 않은 다른 봇넷도 운영할 가능성이 있다는 점을 의미한다. 멘체르 교수는 “악의를 지닌 이들은 스캠임을 분명하게 알 수 있는 실수를 범하지 않는다”라고 언급했다.

오픈AI는 이 기사를 송출할 시점까지 Fox8 봇넷 관련 의견 공개 요청에 답변하지 않았다. 오픈AI의 AI 사용 정책은 스캠이나 거짓 정보 생성 및 유포 목적으로 이용하는 행위를 금지한다.

챗GPT를 비롯한 여러 가지 최첨단 기술을 적용한 챗봇은 대규모 언어 모델을 이용해 명령어에 따른 답을 글로 작성한다. 상당수가 웹의 여러 출처에서 수집한 텍스트인 훈련 데이터와 컴퓨터 전력, 인간 테스트 참여자의 피드백 모두 충분하다면, AI 챗봇은 다양한 명령어에 따라 놀라울 정도로 훌륭하게 답변을 작성한다. 반대로 갑작스러운 혐오 메시지 작성, 사회적 편견 공개, 자체적인 사실 조작 등과 같은 문제를 일으킬 수도 있다.

제대로 구성한 챗GPT 기반 봇넷은 탐지가 어렵고, 사용자 계정 복구 능력이 더 뛰어나면서 SNS 콘텐츠 우선순위 지정에 이용하는 알고리즘을 비교적 더 효과적으로 조작하기도 한다.

멘체르 교수는 챗GPT 기반 봇넷이 SNS 플랫폼과 사용자 모두 속인다고 말했다. 만약, SNS 알고리즘이 다른 봇 계정의 활동이더라도 참여 활동이 많은 게시글을 찾는다면, 해당 게시글을 더 많은 사용자에게 보여줄 것이다. 멘체르 교수는 “Fox8과 같은 AI 챗봇 기반 봇넷이 가짜 계정과 SNS 게시글, 답변 등을 생성하는 이유이다”라고 설명했다. 이어, 거짓 정보 유포 광고를 퇴치하려는 정부는 이미 거짓 정보 탐지 툴을 개발하거나 배포했을 확률이 높다고 덧붙였다.

연구팀은 챗GPT의 근간이 된 기술이 거짓 정보를 유포할 위험성을 오래전부터 제기했다. 오픈AI는 거짓 정보 우려 때문에 챗GPT의 이전 시스템 배포를 지연하기도 했다. 그러나 지금까지 대규모 언어 모델이 넓은 범위에 걸쳐 악용된 사례는 없었다. 단, 일부 정치 관련 메시지가 AI로 제작돼, 유명 정치인이 상대 정치인의 명예 실추를 목적으로 제작한 딥페이크 영상을 함께 공유한 사례는 있다.

윌리엄 왕(William Wang) 캘리포니아대학교 산타바바라 캠퍼스 교수는 챗GPT를 실제 범죄에 악용한 사례를 연구하게 된 점이 흥미롭다고 밝혔다. 왕 교수는 Fox8 봇넷 연구와 관련, “연구 결과가 매우 흥미롭다”라고 전했다.

왕 교수는 다수 스팸 웹페이지가 자동 생성된다고 확신하며, 앞으로 인간이 AI로 생성한 웹페이지를 구분하기 어려워질 것이라고 말한다. 게다가 AI가 항상 발전하면서 앞으로 AI와 인간의 글을 구분하는 것이 더 어려워지기만 할 것이다. 이에, 왕 교수는 “AI 게시글 감지 상황이 매우 심각하다”라고 말했다.

2023년 5월, 왕 교수가 이끄는 연구실에서는 챗GPT로 생성한 텍스트와 인간의 글과 자동으로 구분하는 기법을 개발했다. 그러나 오픈AI의 API를 사용한다는 점에서 배포하기에는 비용이 비싸며, 기본 AI는 계속 개선된다. 왕은 “AI가 작성한 글을 잡아내는 일은 한 가지 문제가 해결되면, 또 다른 문제가 발생하는 형태로 반복된다”라고 전했다.

X는 AI 텍스트 자동 감지 툴의 풍부한 시험대가 될 것이다. 멘체르 교수는 일론 머스크가 가짜 봇 퇴치를 선언했으나 실제로 트위터를 인수한 뒤 플랫폼 내 악성 봇이 훨씬 더 흔해졌다고 전했다. 게다가 연구팀은 API 사용료가 급등한 탓에 연구를 진행하기 더 어려워졌다.

2023년 7월 자로 Fox8 봇넷 연구 논문이 게재된 후 X의 일부 봇넷 유포자가 봇넷을 제거한 사실이 분명하게 드러났다. 멘체르 교수 연구팀은 X의 문제를 새로 발견할 때마다 X 관계자에게 경고했으나 이제는 X에 접촉하지 않는다. 멘체르 교수는 “X 관계자는 외부의 연락에 답변하지 않는다. 실제로 X에는 직원이 없다”라고 전했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Scammers Used ChatGPT to Unleash a Crypto Botnet on X