By WILL KNIGHT, WIRED US

포천 500(Fortune 500)에 이름을 올린 일부 기업이 추가 혜택 계약 후 도망치는 사기 행위에 가담하는 구직자의 사기 논쟁 후 영상통화 도중 실제 인물의 딥페이크를 탐지하는 소프트웨어를 테스트를 시작했다.

사기 탐지 기술은 캘리포니아대학교 버클리 캠퍼스 교수이자 딥페이크 및 이미지, 영상 조작 분야의 유명한 권위자인 하니 파리드(Hany Farid)가 창립한 겟리얼랩스(Get Real Labs)가 제공한다.

겟리얼랩스는 인공지능(AI)이나 수동 방식으로 생성 혹은 조작이 이루어진 이미지, 음성, 영상 툴을 개발했다. 겟리얼랩스의 소프트웨어는 영상 통화 속 인물의 얼굴을 분석하고는 인위적으로 생성되어 실제 인간의 신체와 바꾸었을 가능성을 제시하는 몇 가지 단서를 탐지할 수 있다.

파리드는 “실제 공격이 발생한 사례는 없으나 갈수록 딥페이크 영상통화에 의존하는 사례가 등장한다는 사실을 들었다”라며, “간혹 지식재산권 획득, 기업 정보 침투 등을 원하는 듯하다. 다시 말해, 단순히 보너스 계약에 서명한 것이 순전히 금전적 이익을 위한 것으로 나타났다”라고 설명했다.

미국 연방수사국(FBI)은 2022년, 영상 통화 도중 실제 인물이라고 추측한 딥페이크 구직자로 추측하는 것을 경고하는 내용의 보고서를 발행했다. 영국 디자인 및 엔지니어링 기업 아럽(Arup)은 딥페이크 사기꾼 기업 최고 재무 책임자로 위장한 딥페이크 사기꾼에 속아 2,500만 달러를 잃었다. 로맨스 스캠 범죄자도 같은 수법을 채택하여 의심하지 않는 피해자에게 저축한 자산을 송금하도록 요청한다.
 
실시간 영상에서 실제 인물을 사칭하는 수법은 AI가 발전한 영향으로 가능해진 현실을 신뢰하기 어려운 일종의 속임수 중 하나에 해당한다. 대규모 언어 모델은 온라인 채팅 도중 실제 인물을 그럴듯하게 흉내 낼 수 있다. 또한, 오픈AI 소라(Sora)와 같은 툴로 짧은 영상을 생성할 수 있다. 지난 몇 년간 놀라운 수준으로 AI 기술이 발전하여 딥페이크 콘텐츠의 설득력이 강화되면서 접근성도 확대되었다. 무료 소프트웨어는 딥페이크 콘텐츠 제작 기술을 수월하게 다듬도록 한다. 게다가 AI 툴에 손쉽게 접근할 수 있어, 텍스트 명령어로 실제처럼 보이는 선동 광고와 영상을 제작할 수도 있다.

그러나 실시간 영상에서 특정 인물을 사칭하는 일은 비교적 새로운 비교적 새로 개척된 수법이다. 실시간 영상 속에서 정체를 속이는 딥페이크 콘텐츠 제작 과정에는 보통 머신러닝과 얼굴 추적 알고리즘을 혼합하여 가짜 인물의 얼굴을 실제 인물의 신체에 간단하게 결합한다. 이후 개입자가 불법 행위를 할 의도로 특정 인물과 비슷한 모습으로 등장한 인물의 화면 속 언행을 통제하도록 한다.

파리드는 와이어드에 겟리얼랩스의 기술 시연 과정을 보여주었다. 기업 이사회의 사진이 등장하자 소프트웨어는 이미지와 관련성이 있는 메타데이터를 분석하여 이미지가 변경되었다는 징조를 발견했다. 오픈AI, 구글, 메타 등 복수 AI 기업도 이제 AI 생성 이미지에 디지털 서명을 추가하여 이미지가 조작되었음을 확인할 확실한 방법을 제공하고자 한다. 그러나 모든 툴이 AI 생성 이미지임을 나타내는 스탬프를 제공하는 것은 아니다. 오픈소스 이미지 생성 툴은 AI로 생성한 콘텐츠임을 식별하는 디지털 서명을 구성할 수 없다. 메타데이터도 조작하기 쉽다.

겟리얼랩스는 여러 AI 모델도 사용하여 이미지와 사진 조작 여부를 구분하도록 훈련받아 위조되었을 가능성이 있는 이미지, 사진을 분류한다. AI와 기존 포렌식을 결합한 기술을 비롯한 다른 툴은 사용자가 이미지의 시각적, 물리적 격차를 검증하도록 돕는다. 예를 들어, 광원은 같지만 다른 방향을 가리키는 그림자나 이미지 속 피사체와 다른 것처럼 보이는 그림자를 강조한다.

올바른 방향을 보여주는 다른 피사체의 윤곽은 실제 이미지임을 암시하는 요소인 선이 사라지는 지점이 교차하는가 드러낸다. 

딥페이크 탐지를 약속한 여러 스타트업의 AI 의존도가 매우 높다. 그러나 파리드는 수동 포렌식 분석 작업이 미디어 조작을 분류하는 매우 중요한 요소가 될 수 있다고 말한다. 그는 “딥페이크 콘텐츠 탐지 문제의 해결책이 AI 모델 훈련이라고 주장하는 기업은 해결책을 갖출 수 있다는 속임수를 제시하거나 거짓말을 하는 것이다”라고 설명했다.

콘텐츠의 진실성 확인 노력을 펼치는 기업 범위는 포천 500대 기업을 넘어섰다. 딥페이크와 조작된 미디어 이미 정치계의 주된 문제점이 되었다. 파리드가 겟리얼랩스의 기술이 진정한 긍정적 결과를 선보이기를 바라는 부분이기도 하다. 와이어드 선거 프로젝트(The WIRED Elections Project)는 인도, 인도네시아, 남아프리카공화국을 포함한 세계 여러 국가의 선거에 출마한 후보 지지를 강화하거나 후보 지지도를 떨어뜨릴 의도로 딥페이크를 사용한 사례를 추적했다. 2024년 1월, 미국에서는 뉴햄프셔 대통령 선거 경선 투표에서 바이든 대통령의 지지표를 줄일 의도로 조 바이든 대통령의 목소리처럼 들리는 가짜 로보콜이 동원되었다. 오해를 유발하는 방식으로 편집된 선거 관련 칩페이크 영상은 최근 들어 널리 확산되었다. 러시아 거짓 정보 부대는 바이든 대통령을 폄하하는 AI 조작 영상을 널리 유포했다.

‘윤리적 AI(Moral AI)’의 공동 저자이기도 한 피츠버그 소재 카네기멜론대학교 컴퓨터 과학자 빈센트 코니처(Vincent Conitzer)는 AI를 동원한 조작 행위가 더 큰 피해를 일으키는 수준으로 만연해질 것으로 예상한다. 다시 말해, 딥페이크 조작 콘텐츠에 맞서도록 설계되는 툴 수요가 증가할 것이라는 의미이다.

코니처는 “딥페이크 콘텐츠 확산과 퇴치 문제는 일종의 무기 경쟁이다. 지금 당장 딥페이크를 잡아내는 데 매우 효과적인 수단을 보유했더라도 더 교묘해진 다음 세대의 딥페이크 탐지 효과를 장담할 수는 없다. 딥페이크 탐지에 성공한다면, 다음 세대의 딥페이크 기술이 기존 탐지 기술을 피하도록 훈련받을 수 있다”라고 설명했다.

겟리얼랩스는 딥페이크 조작 콘텐츠 등장과 퇴치가 반복되는 상황이 끊임없는 전쟁이 될 것이라는 전망에 동의한다. 겟리얼랩스 공동 창립자 겸 컴퓨터 보안 업계 베테랑인 테드 쉬레인(Ted Schlein)은 누구나 일종의 딥페이크 속임수에 맞서는 데 오랜 시간이 걸리지 않을 것으로 내다본다. 사이버 범죄 세력이 딥페이크 기술에 더 익숙해지면서 교묘한 신규 스캠 수법을 원하게 될 것이기 때문이다. 쉬레인은 조작된 미디어가 다수 최고 보안 책임자의 가장 큰 우려 사항이라고 추가로 전했다. 그는 “거짓 정보는 새로운 멀웨어이다”라고 언급했다.

정치적 대화를 해칠 위험성이 큰 상황에서 파리드는 미디어 조작이 갈수록 더 어려운 문제라는 인식이 존재한다는 점에 주목했다. 그는 “컴퓨터는 문제가 발생하면, 초기화하거나 컴퓨터를 새로 구매할 수 있다. 그러나 인간의 생각을 해치는 일은 민주주의의 존립 위협이다”라고 전했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Deepfakes Are Evolving. This Company Wants to Catch Them All