By Zeyi Yang, WIRED US

오디오 모스 부호나 암호화된 메타데이터 정보, 가상현실(VR)로 생성한 장면 라벨까지. 중국 정부가 인공지능(AI) 기업과 SNS 플랫폼이 제대로 된 AI 생성 콘텐츠 라벨을 활용하기를 바라면서 거짓 정보 단속을 하고자 하는 대상이다.

2024년 9월 14일, 중국 국가인터넷정보판공실(Cyberspace Administration)이 사용자에게 시청 중인 콘텐츠가 사실인지 AI로 생성한 콘텐츠인지 알리는 것을 목표로 하는 새로운 규제 법안 초안을 발의했다. 날이 갈수록 생성형 AI가 발전하여 당사자 동의 없는 포르노 생성 및 유포부터 정치 거짓 정보까지 각종 문제를 일으키는 AI 생성 콘텐츠를 구분하기 어렵다.

중국이 세계 최초로 생성형 AI 콘텐츠 문제 퇴치에 나서는 것은 아니다. 2024년 3월, 유럽연합이 채택한 AI 법(AI Act)도 중국의 규제 초안과 비슷한 생성형 AI 라벨 추가 규정을 포함했다. 9월에는 캘리포니아주 정부에서도 비슷한 법안이 통과했다. 중국의 과거 AI 규제도 생성형 AI 라벨의 필요성을 잠시 언급했다.

그러나 새로 통과된 정책은 온라인 플랫폼이 AI 워터마크 적용 방식을 상세하게 기술했다. 또, AI 관련 규제 중 최초로 AI 생성 콘텐츠가 게재되어 제대로 된 콘텐츠 분류 없이 널리 확산되었을 때는 콘텐츠가 게재된 SNS 플랫폼 처벌을 약속하기도 한다. 결과적으로 AI 기업과 SNS 플랫폼이 단축 명령을 사용하고자 하는 유혹을 떨치지 못하고, 적절한 라벨 기능을 적용하지 않았을 때는 금전적, 법적 위험성이 뒤따른다.

중국은 AI 법안 추진 속도와 적극적인 대응으로 세계 AI 규제 형태를 확립하는 작업을 장악하는 정권이 되고자 한다. 중국 기술 규제를 연구 중인 안젤라 장(Angela Zhang) 서던캘리포니아대학교 법학 교수는 “중국이 AI 콘텐츠 관리 측면에서 유럽연합과 미국보다 앞서 있다는 점은 분명하다. 정부의 챗봇 서비스 정책 지지 보장 요구가 그 부분적인 이유이다”라고 설명했다. 현재 중국은 전 세계 업계 표준을 형성할 또 다른 기회를 얻었다고 덧붙였다. AI 생성 콘텐츠 라벨은 특정 기술 표준의 세계적 합의를 위한 유망한 영역이기 때문이다.
 
AI 관리, 보기보다 어려워
규제 초안은 가장 먼저 AI 서비스 공급사에 AI 콘텐츠임을 알릴 명확한 라벨 추가를 요청한다. 즉, AI 생성 이미지 워터마크 적용, AI 생성 영상이나 가상현실 장면이 시작할 때 의심스러운 알림 라벨 혹은 AI 생성 오디오 클립 실행 전 AI 모스 코드 음향 전송 등이 있어야 한다는 의미이다.

그 정도는 다르지만, AI 생성 콘텐츠 식별 워터마크 적용은 업계에서 이미 적용 중인 관행이다. 그러나 규제 초안은 자발적인 조처에서 법적 책임으로 변경하여 허술한 라벨 적용 메커니즘을 갖춘 AI 툴을 잡거나 정부 차원의 처벌을 가하는 방안을 추진한다.

그러나 명확한 라벨을 워터마크 자르기나 영상 마지막 부분 편집 삭제 등 다른 방식으로 손쉽게 변경할 수 있다는 문제가 있다. 따라서 규제 초안에는 기업에 AI 생성 콘텐츠 파일의 메타데이터에도 간접 라벨을 추가해야 한다는 규정도 추가했다. 간접 라벨에 AI 생성 콘텐츠임을 의미하는 ‘AIGC’라는 약자는 물론이고, 해당 파일 생성과 유포 작업을 담당한 기업의 암호화 정보도 포함해야 한다. 이 외에도 AI 생성 콘텐츠의 생성과 유포 작업에 참여한 기업을 대상으로 콘텐츠에 사용자가 그 존재를 알아차리지 못하도록 눈에 보이지 않는 워터마크를 추가할 것을 권고하기도 한다.

실제로 메타데이터에 간접 데이터를 구축하는 과정은 더 많은 기업의 협력과 보편적 규정 준수가 필요하다.

뉴욕 인권 단체 위트니스(Witness) 전무 샘 그레고리(Sam Gregory)는 “메타데이터의 상호운용성 표준은 AI 모델과 구축 대상, AI 툴과 플랫폼 전반에 걸친 작업이 필요하다. 명령 사항이 많고, 기술적 어려움과 변화 비용도 막대하다”라고 말했다. 규제 초안의 요구를 따르기 위한 작업은 몇 달이 아닌 몇 년이 걸릴 수도 있는 작업이라고 덧붙였다.

중국의 규제 초안 중 시행이 가장 어려운 부분은 SNS 플랫폼이 AI 생성 콘텐츠 발견 책임을 지도록 하는 것이다. 규제는 ‘온라인 정보 콘텐츠 전송 플랫폼 서비스’ 기업을 대상으로 간접 라벨과 AI 생성 발자취를 담은 공유 파일 검증을 요구한다. 플랫폼은 메타데이터가 생성형 AI임을 밝힐 때나 사용자의 생성형 AI 콘텐츠임을 공개하는 정보 자발적 등록, 사용자가 AI 생성 콘텐츠임을 의심하는 상황일 때는 생성형 AI 태그나 라벨을 적용해야 한다. 또한, 자체 정보에도 생성형 AI 라벨을 메타데이터에 추가하여 콘텐츠가 인터넷에서 이동한 경로를 보여주어야 한다.

수많은 어려움이 뒤따른다. 무엇보다도 법률상 온라인 정보 콘텐츠 전송 플랫폼 서비스로 추정되는 플랫폼을 즉시 분명하게 밝히기 어렵다. 이에, 종룬 법무법인(Zhong Lun Law Firm)의 상하이 파트너 변호사인 제이 시(Jay Si) 변호사는 “솔직하게 말하자면, 더우인(Douyin), 위챗, 웨이보 등 SNS 플랫폼 대부분 규제 초안 적용 대상이 될 수 있다. 그러나 타오바오, JD 등 전자상거래 플랫폼과 바이두 등 검색 엔진도 규제 적용 대상으로 분류해야 하는지는 분명하지 않다”라고 전했다.

지금 당장 중국 내 높은 인기를 보유한 수직 영상 플랫폼은 사용자가 영상 게재 시 AI 생성 태그를 추가하도록 한다. 일부 플랫폼으 사용자가 태그가 없는 다른 영상을 AI 영상으로 분류하거나 태그가 없는 영상을 적극적으로 찾고는 AI 생성 콘텐츠일 가능성을 언급하는 라벨을 추가하도록 한다.

그러나 중국과 타국 사용자 수억 명을 보유한 사실을 고려하면, 플랫폼의 모든 콘텐츠 감시를 요구하는 규제는 SNS 플랫폼의 대대적인 변화를 불러올 수 있다. 시 변호사는 “위챗이나 더우인이 플랫폼에 게재된 모든 사진을 각각 검토하고는 AI가 생성했을 가능성을 확인해야 한다면, 기업 직원의 업무량과 기술적 역량 측면에서 매우 큰 부담이 될 수 있다”라고 말했다. 중국에서 가장 큰 인기를 보유한 소셜 영상 플랫폼 더우인과 콰이쇼우(Kuaishou)는 규제 초안 관련 의견 공개 요청에 답변을 거부했다.

유럽연합 AI 법 넘어선 규제 도입 계획 세운 중국
지금까지 AI 규제 측면에서 가장 포괄적인 법률로 평가받은 유럽연합의 AI 법에도 콘텐츠 라벨 적용 문제를 다루는 조항이 있다. 콘텐츠에 공공의 이익을 포함한 딥페이크 시각 혹은 문자 정보가 있을 때도 기업에 AI 생성 콘텐츠임을 명확하게 밝힐 것을 요구하는 규정도 있다.

이미 다수 기업이 자사 콘텐츠 관리에 나섰다. 그레고리 전무는 “서양 기업 여러 곳이 콘텐츠 내 AI 사용 방법을 밝히는 데 도움이 되는 메타데이터 기반 표준인 C2PA 표준을 채택하기 시작했다”라고 전했다. 구글, 메타, 마이크로소프트, 오픈AI 등 테크 업계 주요 기업 여러 곳이 C2PA 표준을 지지한다. 그레고리 전무는 테크 기업의 C2PA 표준 채택이 올바른 방향으로 나아가는 단계라고 언급하면서도 아직 대대적인 접근이 가능한 상태가 아닌 탓에 많은 SNS 플랫폼이 채택하지 않았다고 전했다.

제프리 딩(Jeffrey Ding) 조지워싱턴대학교 정치과학 부교수는 중국 규제 당국이 유럽연합 AI 법을 통해 교훈을 얻었을 가능성을 언급하며, “중국 정책 입안자와 학자 모두 유럽연합의 AI 법을 AI 생성 콘텐츠 라벨 규제 도입 추진 동기가 되었다고 밝힌 적이 있다”라고 말했다.

그러나 중국 규제 당국이 택한 일부 조처는 다른 국가에서도 적용하기 어렵다. 예를 들어, 중국은 SNS 플랫폼에 사용자가 업로드한 콘텐츠를 검토하여 AI 생성 콘텐츠를 찾아내도록 요구한다. 이에, 딩 교수는 “새로운 규제 방식이자 중국의 상황에서만 적용할 수 있는 고유한 규제 집행 방식이다. 콘텐츠 관련 문제가 SNS 책임이 아니라고 판단하는 것으로 유명한 미국에서는 절대로 채택할 수 없는 부분이다”라고 설명했다.

온라인 표현의 자유는?
AI 콘텐츠 라벨 규제 초안은 2024년 10월 14일까지 공개 피드백을 받는다. 이후 초안 수정 및 통과까지 몇 달이 걸릴 것으로 보인다. 그러나 중국 기업이 규제 시행 상황을 준비하려는 작업을 미룰 만한 이유는 많지 않다.

생성형 AI 에이전트, 인플루언서 생성, 살아 있는 인물과 고인의 모습 복제 작업에 딥페이크를 사용하는 중국 AIGC 기업 실리콘인텔리전스(Silicon Intelligence) 창립자 겸 CEO 시마 화펑(Sima Huapeng)은 실리콘인텔리전스의 기술이 사용자가 생성된 콘텐츠에 AI 마크를 추가할 것인지 자발적으로 선택할 권한을 부여한다고 말한다. 그러나 초안이 제출된 규제가 통과된다면, 법률상 의무를 준수하기 위해 현재 제공하는 기술을 변경해야 한다.

시마는 “사용자에게 AI 라벨 적용 선택권을 준다면, 대다수 기업은 자사 제품에 AI 라벨을 추가하지 않을 수도 있다. 그러나 법률 규정에 의무 사항으로 명시된다면, 모든 기업이 AI 라벨을 적용해야 한다”라고 말했다. 기술적으로 워터마크나 메타데이터 라벨 추가 자체는 어려운 일이 아니다. 하지만 규제 준수 의무가 있는 기업의 운영 비용 인상으로 이어질 것이다.

시마는 AI 생성 콘텐츠 식별 워터마크 추가와 같은 정책은 AI를 사기나 프라이버시 침해에 악용하는 상황에서 멀어지도록 유도할 수 있다고 본다. 그러나 법률 규정 준수를 피하여 운영 비용을 절감하고자 하는 기업의 AI 서비스 암시장 성장세를 촉발할 가능성도 있다고 언급했다.

AI 콘텐츠 생성 기업의 책임과 더 발전한 기술 추적 방식을 통한 개인의 발언 감독 간 받아들일 수 있는 기준도 고려해야 한다.

그레고리 전무는 “중국의 규제 초안이 제시하는 접근 방식이 프라이버시나 표현의 자유를 더 해치지 않도록 보장해야 한다는 점이 중요한 기본적인 인권 과제이다”라고 전했다. 간접 라벨과 워터마크로 거짓 정보와 부적절한 콘텐츠 출처를 식별할 수 있으나 반대로 플랫폼과 정부가 사용자가 인터넷에 게재한 바를 통제할 권한을 강화할 목적으로 이용할 수도 있다. 실제로 AI 툴을 악용하게 될 수준이 중국의 적극적인 AI 법안 도입 노력의 주된 동기가 되었다는 우려도 제기되었다.

동시에 중국 AI 업계는 이미 서양 경쟁사보다 뒤처졌다는 점에서 AI 기술 실험과 성장 기회가 더 필요하다는 점을 제시하며, 중국 정부의 규제 초안에 반발한다. 초기 제정된 중국의 생성형 AI 법 수위는 처음 공개된 초안과 최종안보다 수위가 약해진 편이다. 최종 도입된 법률에는 인증 정보 식별 요구사항이 삭제되었으며, 기업에 가하는 처벌 수위도 완화되었다.

딩 부교수는 “중국 정부가 콘텐츠 관리 수준 유지를 보장할 방안과 전략적인 공간에서 AI 실험으로 혁신의 자유를 부여하는 방안 간 균형을 맞추려 노력한다는 점이 분명하다. 최근 발의된 규제 초안의 대중 의견 접수도 비슷한 노력을 위한 시도이다”라고 분석했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
China’s Plan to Make AI Watermarks Happen