By MATT BURGESS, WIRED UK

구글과 마이크로소프트의 검색 엔진에서 딥페이크 포르노 영상이 문제가 되었다. 딥페이크는 5년 전 등장한 뒤 여성을 겨냥한 괴롭힘과 희롱 목적으로 계속 악용되었다. 당사자 동의 없이 머신러닝을 이용해 타인의 머리를 포르노 영상 일부분으로 편집하는 사례가 발견됐다. 이제 인공지능(AI) 기술 발전과 딥페이크 생태계 확장 영향으로 당사자 동의 없이 제작된 딥페이크 포르노 영상이 급속도로 증가했다.

독립 연구원이 연구한 뒤 와이어드와 공유한 당사자 동의 없는 딥페이크 생성 및 유포 현황을 주제로 한 새로운 연구 분석 결과, 딥페이크 포르노 영상이 만연한 것으로 드러났다. 온라인 공격 대상이 될 것을 우려해 익명을 요청한 연구원은 딥페이크 포르노 영상 중 지난 7년간 딥페이크 포르노 영상 호스팅을 단독 제공하거나 부분적으로 제공하는 상위 웹사이트 35곳에 게재된 영상 수는 최소 24만 4,625개로 집계됐다고 전했다.

2023년 1월부터 9월까지 딥페이크 포르노 웹사이트에 등록된 영상은 11만 3,000건이다. 2022년 1년 내내 게재된 영상 수 7만 3,000개보다 54% 증가한 수치이다. 연구원은 연내 추가로 생성되는 딥페이크 포르노 영상이 예년 생성된 전체 영상보다 더 많을 것으로 예상한다.

딥페이크 포르노 영상이 많다는 집계 결과는 당사자 동의 없는 딥페이크 콘텐츠 제작 문제가 매우 큰 문제임을 엿볼 수 있는 예시 중 하나이다. 전체 규모에서 문제를 살펴본 딥페이크 콘텐츠 수는 훨씬 더 많고, 포르노 영상 이외에도 다양한 조작 이미지와 영상도 딥페이크 콘텐츠 문제에 포함되었다. 여성을 표적으로 삼은 채로 당사자의 동의를 받지 않고 몰래 콘텐츠를 제작하면서 발생하는 딥페이크 산업 전체의 희롱 문제는 지난 몇 년 사이에 급부상했다. 스틸 사진 인물 얼굴 변경 앱과 단 몇 차례 클릭만으로 사진 속 인물의 옷을 벗기는 앱도 악명높다. 이와 같은 앱으로 이미지 수백만 장이 생성되었을 확률이 높다.

펜실베이니아대학교 디지털 권리 및 사이버 성폭력 연구원인 소피 매독스(Sophie Maddocks)는 “딥페이크 포르노 영상은 모든 시민과 고등학생, 성인을 표적으로 삼는다. 하루가 멀다 하고 발생하는 문제이다. 딥페이크 기술 접근이 어려웠다면, 지금과는 상황이 매우 달랐을 것이다. 딥페이크를 이용하면, 단 2초 만에 성범죄를 저지를 수도 있다”라고 말했다.
 
새로 발표된 딥페이크 포르노 영상 연구는 단독으로 딥페이크 영상 호스팅을 제공하거나 다른 성인물과 함께 딥페이크 포르노 영상을 제공하는 웹사이트 35곳을 조사했다. (SNS에 게재된 영상이나 개인적으로 공유한 영상, 조작된 사진 등은 조사 대상에 포함되지 않았다.) 와이어드는 조사 대상이 된 웹사이트를 찾을 수 있도록 지목하거나 직접적인 관련성 등을 언급하지 않으려 한다. 연구원은 분석 서비스 시밀러웹(SimilarWeb)을 이용해 딥페이크 포르노 영상 관련 웹사이트를 직접 조사해 딥페이크 영상 수와 공유 주기, 사용자가 웹사이트를 발견하는 경로 등을 분석했다.

많은 웹사이트가 딥페이크 포르노 영상을 호스팅하거나 유포한다는 사실을 분명하게 밝힌다. 종종 딥페이크라는 표현이나 파생된 표현을 이름에 사용한다. 딥페이크 포르노 영상 관련 상위 웹사이트 두 곳은 각각 영상 4만 4,000건을 나머지 5곳은 1만 건 이상 게재했다. 대부분 딥페이크 포르노 영상을 수천 개 이상 게재했다. 딥페이크 포르노 영상 수가 수백 개인 곳은 소수이다. 연구원이 조사한 일부 영상은 조회 수 수백만 건을 기록했다.

연구팀은 어떠한 형태든 당사자 동의 없이 생성된 딥페이크 포르노를 포함한 일반 포르노 웹사이트 300곳도 추가로 확인했다. 연구원은 노출 웹사이트와 사용자의 SNS 사진을 다시 올릴 용도로 존재하는 웹사이트도 딥페이크 이미지를 공유한다는 사실을 확인했다. 사진 관련 웹사이트 한 곳은 의상을 착용하지 않은 인물 사진 35만 장을 보유했다고 주장했다.

딥페이크 영상과 사진의 전체 규모를 측정하는 일은 매우 어려운 일이다. 콘텐츠를 SNS 추적 작업은 어려운 일이며, 개인 메시지 그룹이나 비공개 채널에 공유된 피해자로 알려진 인물 관련 콘텐츠도 추적하기 어렵다. 2023년 9월, 스페인 알멘드랄레호 마을에서는 20명이 넘는 11~17세 여학생이 AI 툴을 이용하여 당사자도 인지하지 못한 사이에 생성된 나체 사진으로 피해를 본 일을 폭로했다.

AI 및 기술로 손쉽게 저지를 수 있는 폭력을 집중적으로 연구하는 호주 모나시대학교 부교수 애셔 플린(Asher Flynn)은 “당사자 동의 없는 딥페이크 포르노 이미지 생성이라는 부분에서 AI 툴의 기술 역량이 대거 강화되었다. 포르노 플랫폼과 불법 온라인 네트워크에서 딥페이크 포르노 수요가 증가하는 추세이다”라고 설명했다. 새로운 생성형 AI 툴과 함께 딥페이크 포르노 이미지도 증가한 것으로 보인다.

여러 딥페이크 포르노 웹사이트와 딥페이크 영상 혹은 이미지 생성 툴은 검색으로 발견할 수 있다. 연구원이 분석한 딥페이크 포르노 웹사이트에는 인터넷 사용자 수백만 명이 접속할 수 있다. 사용자 50~80%는 검색을 통해 딥페이크 포르노 웹사이트를 발견한다. 검색으로 딥페이크 영상을 찾는 일은 검색하고자 하는 바와 관련하여 전문 지식이 없더라도 손쉽게 할 수 있는 일이다.

딥페이크 포르노 문제는 전 세계 어디서나 만연한 문제이다. 연구원은 VPN을 이용해 캐나다, 독일, 일본, 브라질, 남아프리카공화국, 호주 구글 검색 서비스를 테스트했다. 모든 국가의 구글 검색 서비스를 이용했을 때 딥페이크 웹사이트가 검색 결과에서 중요한 내용으로 나타났다. 매독스 연구원은 딥페이크 웹사이트 확산이 전 세계 어디서나 만연한 문제이며, 많은 연구원이 2017년 12월, 처음 딥페이크 영상이 두드러지게 증가했을 때 딥페이크 포르노 문제를 우려했다고 언급했다.

딥페이크 영상 제작 시 필요한 툴이 급부상한 뒤 날이 갈수록 사용하기 쉬워진 데다가 영상 화질도 개선되었다. 이미지 생성 툴의 선풍적인 인기도 고화질 폭력성 이미지 생성 위험성에 일조하여 결과적으로 영상을 생성하게 되는 결과로 이어졌다. 첫 번째 딥페이크 영상 등장 5년 후 딥페이크 이미지 공유 시 형사 처벌하는 규정을 담은 첫 번째 법률이 등장했다.

플린 부교수가 지적한 바와 같이 딥페이크 앱 확산은 코로나19 시대 디지털 소통 의존도가 급격히 증가한 상황과 기술 발전 속도를 따라잡지 못한 법률과 정책이 더해지면서 완벽한 폭풍을 일으켰다.

다수 전문가는 새로이 제정된 법률과 함께 기술 교육 개선이 필요하다. 물론, 피해를 일으킬 수 있는 툴 확산을 막을 조처도 필요하다. 관련 조처로 딥페이크 웹사이트 호스팅 기업과 구글, 마이크로소프트 빙을 포함한 검색 엔진의 대응을 포함할 수 있다. 현재 여성이 웹사이트의 영상 속에 등장한 자신의 모습을 삭제할 주된 법적 메커니즘은 디지털 밀레니엄저작권법(DMCA) 규정을 활용하는 것이다.

AI 등 각종 기술 확산을 관찰한 적이 있는 딥페이크 및 생성형 AI 전문가 헨리 아저(Henry Ajder)는 딥페이크 포르노 영상과 인물의 얼굴 변경 앱, 당사자 동의 없는 이미지 생성 특수 툴 등을 발견하는 과정의 틈으로 딥페이크 콘텐츠 제작 툴 확산을 줄일 수 있다고 주장한다. 아저는 “최대한 딥페이크 생성 툴을 발견하기 어렵도록 해야 한다”라고 말했다. 유해 웹사이트의 검색 엔진 검색 결과 순위를 낮추거나 인터넷 서비스 공급사의 딥페이크 포르노 웹사이트 차단 등을 예시로 언급할 수 있다. 아저는 “딥페이크 포르노 웹사이트 수와 운영 규모, 그동안 문제를 심각하게 다루지 않았던 플랫폼이 갑자기 딥페이크 포르노를 심각하게 다루어야 할 필요성 등을 고려하면, 딥페이크 포르노 퇴치 노력을 낙관하기 매우 어렵다”라고 말했다.

구글 대변인 네드 아드리안스(Ned Adriance)는 “다른 검색 엔진과 마찬가지로 구글은 웹에 존재하는 콘텐츠를 변경하지만, 적극적으로 순위 시스템을 설계하여 사용자가 예상치 못하게 원하지 않는 해로운 콘텐츠나 노골적인 콘텐츠를 접하여 충격을 받는 상황은 피하려 한다”라며, 검색 결과를 제거할 때의 구글 페이지를 지목했다. 구글 지원 페이지에는 사용자가 의도치 않게 발견한 포르노 제거를 요청할 수 있다는 내용이 명시되었다. 사용자는 구글 양식을 이용하여 직접 문제가 되는 콘텐츠의 URL과 검색어를 제출하여 제거를 요청할 수 있다. 아드리안스 대변인은 “검색 엔진이 진화함과 동시에 구글은 다른 유형의 당사자 동의 없는 노골적 이미지에 대응하려 구축한 시스템을 바탕으로 사용자 보호를 위한 안전 조치를 추가한다”라고 설명했다.

마이크로소프트 최고 디지털 안전 관리자 코트니 그레고리(Courtney Gregoire)는 마이크로소프트는 딥페이크 콘텐츠를 허용하지 않으며, 웹 양식을 통해 딥페이크 콘텐츠를 보고할 수 있다고 전했다. 그레고리 대변인은 “당사자 동의 없는 협박성 이미지는 피해자에게 심각한 영향을 미치는 개인 프라이버시와 존엄성을 해치는 심각한 폭력이다. 마이크로소프트는 자사 플랫폼과 서비스에서 당사자 동의 없는 협박성 이미지를 금지한다. 금전을 대가로 한 당사자 동의 없는 협박성 이미지 공유나 피해자 동의 없는 이미지 생성 혹은 재배포 모두 옹호하지 않는다”라고 말했다.

딥페이크 영상과 사진 수가 급격히 증가하는 가운데 피해자에게는 오랫동안 영향을 미칠 수 있다. 매독스 연구원은 “성을 기반으로 한 온라인 희롱은 여성의 표현의 자유에 대대적인 악영향을 미친다”라고 말했다. 와이어드가 과거 보도한 내용과 같이 딥페이크 콘텐츠 생성 피해를 겪은 트위치 여성 스트리머 여러 명이 폭력을 당했다고 느낀 사실을 상세히 밝히며, 추가 희롱 피해에 노출된 데다가 시간을 허비하고, 간혹 여성 구성원 사이에서 당사자 동의 없는 딥페이크 콘텐츠가 발견된 사례도 있었다.

플린 교수는 직접 진행한 연구를 통해 디지털 폭력을 겪은 피해자는 불안감, 우울감, 자해, 자살 등 정신건강 문제 우려가 크다는 사실을 확인했다. 플린 교수는 “피해자의 모습이 담긴 이미지가 딥페이크이든 실제 원본이든 개인의 정신, 신체 건강의 잠재적 영향과 고용 관계, 사회적 생활에 미치는 영향 모두 심각하다”라고 말했다.

** 위 기사는 와이어드UK(WIRED.co.uk)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Deepfake Porn Is Out of Control