By VITTORIA ELLIOTT, WIRED US

메타는 다수 테크 업계 주요 기업과 마찬가지로 2023년 내내 생성형 인공지능(AI) 배치 속도를 높일 것이라는 약속을 했다. 이에, 메타는 생성형 AI의 위험성에 대응해야 한다는 사실을 인정하며, 페이스북과 인스타그램, 스레드 이미지에 AI가 생성한 콘텐츠임을 알리는 라벨을 적용하여 AI 생성 이미지 태그 정책을 확대한다고 공식 발표했다.

그러나 메타의 SNS 플랫폼에 등장하는 것과 같은 합성 미디어 다수는 뉴스 정책 적용 대상이 되지 않아 악의적인 의도로 AI 콘텐츠를 생성하는 이들이 악용할 만한 허점을 남길 것으로 보인다. 인권 옹호를 위한 기술 사용 지원 비영리 단체 휘트니스(Witness) 프로그램 소장 샘 그레고리(Sam Gregory)는 “메타의 AI 이미지 라벨 정책은 올바른 방향으로 향하고 있으나 많은 난제가 있다”라고 말했다.

메타는 이미 자사 생성형 AI 툴로 제작한 AI 이미지에 “AI의 상상으로 탄생한 이미지”라는 라벨을 추가한다. 콘텐츠 결과물에 자사 알고리즘을 삽입하는 디지털 워터마크를 찾으려는 노력의 일부분에 해당한다. 이제 메타는 앞으로 수개월 후면 다른 기업의 생성형 AI 이미지에도 디지털 워터마크 삽입 기술을 적용할 예정이라고 밝혔다.

AI 생성 이미지가 사진으로 위장한 채로 확산되어 의도치 않은 거짓 정보는 물론이고 의도적인 거짓 정보 유포 위험성을 줄일 정책으로 보인다. 메타는 구글, 오픈AI, 마이크로소프트, 어도비, 미드주어니, 셔터스톡 등에서 AI 생성 이미지 식별 기술 작업을 지원하지만, AI 생성 이미지 기술이 널리 배포되지 않았다고 주장한다. 게다가 디지털 워터마크가 없는 AI 생성 이미지가 넘쳐나는 데다가 생성형 AI 기술 접근성과 수정도 날이 갈수록 쉬운 일이 되고 있다. 그레고리는 “AI 생성 이미지 식별 기술과 같은 시스템이 효과를 발휘할 유일한 방법은 광범위한 생성형 AI 툴과 플랫폼의 참여뿐이다”라고 말했다.

디지털 워터마크 추가 지원이 널리 이루어지고 있으나 디지털 워터마크가 AI 생성 이미지의 피해를 어느 정도까지 보호할 수 있는지는 불확실하다. 디지털 워터마크 배치의 통합 표준은 없다. 하지만 어도비가 설립한 이니셔티브인 콘텐츠 검증 및 진정성 연합(Coalition for Content Provenance and Authenticity, C2PA)은 여러 기업의 디지털 워터마크 개념 작업이 일치하게 진행되도록 돕기 시작했다. 지금까지 개발된 디지털 워터마크 기술은 누구나 손쉽게 오류를 일으킬 수 있는 수준은 아니다. 2023년, 어느 한 연구팀은 워터마크 기술을 무력화하거나 AI로 생성하지 않은 이미지를 추가할 수 있다는 사실을 입증한 내용의 연구 논문을 게재했다.
 
악의적 의도 발생 허점
C2PA 이니셔티브 자문 위원인 캘리포니아대학교 버클리캠퍼스 정보대학 교수 하니 파리드(Hany Farid)는 생성형 AI를 악용하는 데 관심이 있는 이는 누구나 최종 콘텐츠에 워터마크가 적용되지 않도록 생성형 AI를 실행하거나 생성형 AI의 본질을 위반한 방식으로 사용할 수 있다고 지적했다. 예를 들어, 조 바이든 미국 대통령의 음성을 조작한 가짜 로보콜 제작자는 2024년 1월, 뉴햄프셔 유권자를 표적으로 삼았으나 로보콜 음성 출처 공개 사항을 추가하지 않았다.

파리드 교수는 테크 기업이 콘텐츠 출처를 식별하고자 하는 데 이용하는 수단 무엇이든 표적으로 삼는 악의적인 세력의 활동에 대비해야 한다고 생각한다. 파리드 교수는 강력한 AI 생성 이미지 식별 방식과 함께 다양한 식별 형태도 사용해야 할 필요가 있다고 생각한다. 예를 들어, 아동 성착취물 목록을 생성하는 데 이용하는 해시 기반 기술에 워터마크 추가를 언급할 수 있다. 워터마크 적용은 이미지를 제외하고, 오디오, 영상 등 AI 생성 미디어에 적용한다는 개념 발전 수준이 낮은 편이다.

케빈 맥알리스터(Kevin McAlister) 메타 대변인은 “많은 기업이 AI 생성 이미지에 AI를 이용한 사실을 파악할 신호를 포함하기 시작했으나 AI로 합성한 오디오, 영상 등에는 이미지와 같은 수준으로 적용하기 시작한 것은 아니다. 따라서 다른 기업의 생성형 AI 툴을 이용한 콘텐츠 감지 신호와 라벨 추가를 위해 AI 사용 사실을 탐지할 수는 없다”라며, “테크 업계 전체적으로 다양한 종류의 콘텐츠에 AI 사용 사실을 식별할 역량을 갖추려 노력한다. 동시에 AI 생성 영상이나 오디오 공유 사실을 공개하여 AI 생성 콘텐츠임을 알리는 라벨을 추가하도록 노력한다”라고 전했다.

메타의 AI 생성 이미지 라벨 정책은 가짜 콘텐츠를 추가로 발견하는 데 도움이 될 것이다. 하지만 AI로 조작된 미디어 모두 완벽하게 탐지할 수 있는 것은 아니다. 메타의 콘텐츠 관리 요구를 검토하는 메타 감독위원회의 독립 전문가 단체는 논란이 된 조 바이든 대통령의 영상은 바이든 대통령이 손녀의 가슴에 부적절하게 접촉한 것처럼 보이도록 악의적으로 편집된 영상이라고 판결했다. 그러나 위원회는 AI로 생성하지 않은 영상은 메타의 현행 정책 위반 사항에 해당하지 않으므로 메타가 AI 생성 콘텐츠를 넘어서 더 포괄적인 범위의 콘텐츠도 관리하도록 ‘조작된 미디어’ 규정 범위를 확대하는 방향으로 개선해야 한다고 전했다.

이에, 맥알리스터 대변인은 메타가 감독위원회의 지침을 검토 중이며, 60일 이내 관련 규정 내 권고 사항의 답변을 공개할 것이라고 밝혔다. 파리드 교수는 메타 정책의 허점과 AI 생성 이미지에만 워터마크를 적용하는 데 초점을 맞춘 기술적 노력 모두 메타의 AI 시대 노력이 부족한 현실을 시사한다고 지적했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Meta Will Crack Down on AI-Generated Fakes—but Leave Plenty Undetected