By MATT BURGESS, WIRED UK

그리 오랜 시간이 걸리지 않았다. 오픈AI의 인공지능(AI) 챗봇인 챗GPT가 스타트업 경제에 영향을 미친 지 몇 달이 지난 가운데, 사이버 범죄 조직과 해커 세력이 텍스트 생성 기술을 자체적으로 개발했다고 주장했다. 적어도 이론상 사이버 범죄 세력이 주장한 자체 개발 텍스트 생성 기술은 피해자를 속여서 로그인 정보를 건네도록 유도하는 멀웨어나 피싱 메일 작성 속도를 높인다.

2023년 7월 초부터 사이버 범죄 조직은 다크웹과 마켓플레이스에 직접 개발한 대규모 언어 모델 두 가지를 홍보했다. 챗GPT와 구글 바드의 기능을 모방한다고 주장한 사이버 범죄 세력의 대규모 언어 모델은 사용자가 입력한 질문이나 명령어에 따라 답변을 제시하기 위한 텍스트를 생성한다.

챗봇의 진위성과 관련하여 두드러진 의문점도 제기되었다. 사이버 범죄 세력은 실제로 신뢰할 만한 특성이 없어, 서로 속이면서 빨리 돈을 벌고자 할 수 있다. 그런데도 사이버 범죄 목적의 대규모 언어 모델 개발은 온라인 사기꾼 세력이 생성형 AI를 둘러싼 과장 홍보를 범죄 이익을 위해 악용하는 시기에 등장했다.

보안 전문가의 활동 관측에 따르면, 지난 몇 주간 다크웹 포럼에서 홍보한 두 AI 챗봇은 웜GPT(WormGPT)와 프라우드GPT(FraudGPT)이다. 구글, 마이크로소프트, 오픈AI 등 테크 업계 대기업이 개발한 대규모 언어 모델에는 악용 사례를 막고자 적용된 각종 문제 보호 대책과 안전 조처가 있다. 만약, 멀웨어나 혐오 발언을 생성하도록 명령한다면, 대부분 요청을 거부할 것이다.

반면, 불법 대규모 언어 모델은 각종 안전 보호와 윤리적 장벽을 없앤다. 웜GPT는 개인 사이버 보안 연구원 다니엘 켈리(Daniel Kelly)가 처음 발견해, 보안 기업 슬래쉬넥스트(SlashNext)와 발견 사항을 상세하게 연구하려 협력 중이다. 웜GPT 개발자는 웜GPT가 문자 수와 코드 형식 제한이 없는 서비스를 제공한다고 주장한다. 켈리 연구원은 메일을 통해 “AI 모델은 주로 피싱 공격을 개시할 때 유용하다. 특히, 새로이 사이버 범죄 세계에 발을 들인 이들에게는 피싱 공격 시 유독 낮은 진입 장벽을 제시한다”라며, “대다수 사이버 범죄 세력은 영문으로 이메일을 작성하지만, 다수 온라인 사기꾼 세력이 반드시 영어로 메일을 작성할 수 있다는 의미는 아니다”라고 설명했다.

켈리 연구원은 웜GPT 시스템 테스트 시 기업 메일 협상 스캠의 일부분이 될 수 있는 이메일 작성을 요청했다. 그리고 기업 CEO가 회계 관리자에게 필요한 결제를 빨리 처리하도록 유도한다는 조건을 추가했다. 켈리는 연구 보고서에 “웜GPT의 피싱 메일 생성 결과는 우려스럽다. 놀라울 정도로 설득력이 뛰어나면서도 전략적으로도 영리한 메일을 완성했기 때문이다”라고 전했다.
 
웜GPT 개발자는 다크웹 포럼 게시글을 통해 웜GPT가 2021년, AI 연구 그룹 엘루더AI(EleutherAI)가 개발한 오픈소스 언어 모델인 GPTJ 언어 모델을 기반으로 구축했다고 주장했다. 켈리 연구원은 웜GPT 개발자가 시스템 훈련 시 사용한 데이터세트 공개를 거부했다고 전했다.

반면, 프라우드GPT 개발자는 자체 시스템의 더 뛰어난 잠재력을 주장하며, 감지할 수 없는 멀웨어 생성과 유출 정보 및 취약점 발견, 게다가 온라인 사기 작전에 이용할 수 있는 맞춤 텍스트 작성까지 지원한다고 홍보했다. 프라우드GPT를 발견한 보안 기업 네텐리치(Netenrich) 수석 위협 애널리스트 라케쉬 크리쉬난(Rakesh Krishnan)은 프라우드GPT 판매 세력이 여러 다크웹 포럼과 텔레그램 채널에서 프라우드GPT 광고를 게재했다고 전했다.

크리쉬난은 프라우드GPT 시스템 개발자가 프라우드GPT 챗봇의 스캠 메일 운영 및 생성 과정을 보여주는 모습을 담은 영상을 게재했다고 설명했다. 또, 프라우드GPT 접근 권한을 월 200달러 혹은 연간 1,700달러에 판매하려 한 사실도 관측됐다. 크리쉬난은 프라우드GPT 개발 배후 세력과의 대화에서 구독자 수 수백 명을 보유하면서 서비스 판매를 추진 중이라는 사실을 확인했다. 웜GPT 제작자는 공유한 암호화폐 지갑 보상을 받았다. 크리쉬난은 “모든 프로젝트는 등장 초기 단계에 있다. 아직은 사용자의 시스템 구매 혹은 사용 여부 등을 파악할 피드백이 많지 않다”라고 말했다.

웜GPT, 프라우드GPT와 같은 사이버 범죄 활동용 대규모 언어 모델이 존재한다는 주장이 제기됐으나 사이버 범죄 조직의 AI 챗봇 시스템의 구성요소와 정통성을 입증하기는 매우 어렵다. 사이버 범죄 스캐머는 다른 스캐머를 상대로 사기를 개시한다. 스캐머를 상대로 판매한다고 주장한 서비스나 상품을 제공하지 않거나 소비자 서비스 수준이 매우 심각한 것을 그 예시로 언급할 수 있다. 보안 기업 체크포인트(Check Point)의 위협 정보 그룹 관리자 세르게이 쉬케비치(Sergey Shykevich)는 웜GPT를 사용하는 이들과 관련하여 몇 가지 단서를 전달했다. 그는 “실제 웜GPT라는 툴이 존재하는 듯하다”라고 언급했다. 이어, 툴을 판매하는 이들은 비교적 신뢰할 수 있으며, 사이버 범죄 포럼에서 오래 활동한 역사가 있다.

쉬케비치는 웜GPT의 게시글 하나에 댓글 100건 이상이 추가된다고 전했다. 다만, 그중 일부 댓글은 판매자가 구매자의 질문이나 기타 시스템 관련 관심을 드러낸 반응에 제대로 답변하지 않는다. 쉬케비치는 프라우드GTP의 진위성을 크게 확신하지 않는다. 쉬케비치는 프라우드GPT의 진위성의 신뢰도가 더 낮다. 판매자는 다크바드(DarkBard), 다크버트(DarkBert) 등 다른 시스템이 존재한다는 주장을 펼치기도 했다. 어느 쪽이든 쉬케비치는 사이버 범죄 세력 사이에서 등장한 웜GPT와 프라우드GPT 모두 챗GPT나 바드 등 기타 상용화 대규모 언어 모델보다 기능이 뛰어나지 않다고 판단했다.

켈리 연구원은 악성 대규모 언어 모델과 관련하여 지금까지 확산된 주장이 약간은 과장된 주장이라고 본다. 다만, “현실 세계의 합법적인 사업과 반드시 차이가 있어야 한다는 의미는 아니다”라고 덧붙였다.

대규모 언어 모델 시스템을 둘러싼 의문 사항이 여럿 제기되었으나 사이버 범죄 세력이 대규모 언어 모델 열풍을 이용하고자 한다는 사실은 놀라운 일이 아니다. 미국 연방수사국(FBI)은 사이버 범죄 세력이 자체 공격 작전을 개시할 때 생성형 AI를 사용하고자 한다고 경고했다. 유럽 법률 집행 기관인 유로폴도 비슷한 경고문을 발행했다. 복수 법률 집행 기관은 대규모 언어 모델이 사이버 범죄 세력의 사기, 신원 사칭, 기타 소셜 엔지니어링 속도를 그 어느 때보다 더 높이고, 영문 스캠 메일 작성 수준도 개선할 수 있다고 경고했다.

영화 ‘바비’ 개봉부터 코로나19 대유행병 확산 추세까지 새로운 제품이나 서비스, 사건 발생으로 대중의 이목을 사로잡을 때마다 온라인 사기 범죄 세력은 최근 주목을 받는 사항을 서둘러 이용하고는 해킹 작전에 포함한다. 지금까지 스캐머는 페이스북에 게재한 챗GPT, 바드, 미드주어니 등 각종 생성형 AI 시스켐 가짜 광고를 통해 많은 이들을 속여 패스워드 탈취 멀웨어를 내려받도록 했다.

보안 기업 소포스(Sophos) 연구팀은 디지털 관계 형성을 이용한 암호화폐 플랫폼 투자 유도 및 로맨스 스캠 운영 기관이 메시지에 우연히 AI로 생성된 텍스트를 포함한다는 점을 포착했다. 어느 한 메시지에는 “나의 언어 모델을 사용하는 덕분에 나는 인간과 같은 기분이나 감정이 없다”라는 메시지가 작성되었다. 해커 세력은 오랫동안 오픈AI의 API 접근 권한을 제공하면서 암호화폐 토큰을 탈취하고, AI 챗봇 대규모 접근도 제공했다.

켈리 연구원은 웜GPT 발견 사실을 다룬 보고서를 통해 사이버 범죄 세력이 종종 인기 대규모 언어 모델 개발사에서 적용한 프로그램 자체 안전 제한을 우회하는 탈옥 수법을 공유한다는 점에 주목했다. 대규모 언어 모델의 제약이 없더라도 현재와 같은 형태로 사이버 범죄 조직에는 유용하지 않을 수도 있다.

쉬케비치 연구원은 사이버 범죄 조직이 공개 모델을 사용하려 해도 효과는 없을 것이라고 주장한다. 사이버 범죄 조직이 변종 랜섬웨어 수법과 정보 탈취 수법을 개발해도 일반 개발자보다는 나은 점이 없기 때문이다. 하지만 사이버 범죄 포럼 접속자는 지금도 사이버 범죄를 개시할 목적으로 자체 대규모 언어 모델 복제 시스템을 논의하면서 개발 중이다. 그리고 사이버 범죄 목적의 대규모 언어 모델 시스템 사용 수준은 더 향상될 것이다. 따라서 온라인 사용 시 클릭하는 웹페이지, 파일 등을 조심해야 한다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Criminals Have Created Their Own ChatGPT Clones