By KATE O'FLAHERTY, WIRED US

오픈AI의 챗GPT, 마이크로소프트의 코파일럿 등 생성형 인공지능(AI) 툴이 빠른 속도로 진화하면서 업무 공간을 중심으로 각종 프라이버시와 보안 문제가 발생할 확률이 상승할 것이라는 우려가 커지고 있다.

2024년 5월, 프라이버시 광고 세력은 마이크로소프트의 새로운 리콜(Recall) 툴이 프라이버시 악몽이 될 수 있다고 지적했다. 몇 초 단위로 사용자의 노트북 화면을 촬영하기 때문이다. 리콜 기능은 영국 규제 당국인 정보위원회(ICO)의 감시망에 포착되었다. ICO는 마이크로소프트 측에 출시를 앞둔 코파일럿+ PC의 안전 정보 추가 공개를 요청했다.

오픈AI가 출시를 예고한 챗GPT 맥OS 앱도 사용자 기기 화면 촬영 기능을 홍보하여 프라이버시 우려가 쌓이는 상황이다. 이미 다수 프라이버시 전문가가 화면 촬영 기능이 민감 데이터를 수집하는 결과로 이어질 수 있다고 지적했다.

미국 하원의원은 정부 기관 관료의 마이크로소프트 코파일럿 사용을 금지했다. 사이버보안국(Office of Cybersecurity)이 마이크로소프트 코파일럿의 화면 촬영 기능이 하원 의회가 승인하지 않은 클라우드 서비스로 데이터를 유출할 위험성 때문에 사용자에게 위험을 제기할 수 있다고 판단한 후의 일이다.

반면, 시장 조사 기관 가트너(Gartner)는 마이크로소프트 365에서 코파일럿을 사용한다면, 민감 데이터와 콘텐츠가 기기 내부 및 외부로 유출될 위험성이 있다고 경고했다. 또, 2024년 5월, 구글은 화면 캡처 기능이 혼란과 오해를 유발하는 답변을 제공한 사례가 널리 확산되어 AI 오버뷰 기능을 수정할 수밖에 없었다.
 
과도한 정보 노출
업무 도중 생성형 AI를 사용하는 이들에게 가장 중요한 문제는 의도치 않은 민감 데이터 유출 문제이다. 위험 관리 기업 GRC 인터내셔널 그룹(GRC International Group) AI 책임자 캠든 울벤(Camden Woollven)은 “대다수 생성형 AI 시스템은 기본적으로 거대한 스폰지와 같다. 인터넷에서 정보를 대거 흡수하여 자체 언어 모델을 훈련한다”라고 말했다.

소프트웨어 기업 엘레멘트수트(Elementsuite) 창립자 겸 CEO 스티브 엘코크(Steve Elcock)는 “AI 기업은 자사 AI 모델 훈련 시 사용할 데이터에 굶주린 상태이다. 따라서 AI 모델이 데이터를 끌어모을 만한 행동을 하도록 설계한다”라고 설명했다. 디지털 컨설팅 기업 xDesign 최고 제품 및 기술 책임자 제프 왓킨스(Jeff Watkins)는 “AI 모델 훈련 목적으로 사용할 다량의 데이터 수집은 사용자 민감 정보를 누군가의 생태계에 주입할 수도 있다는 사실을 의미한다”라며, “이후 영리한 컴퓨터 기능을 통해 민감 정보를 걸러낼 수 있다”라고 말했다.

그와 동시에 AI 시스템 자체가 해커의 공격 표적이 되는 위협이 발생할 수도 있다. 울벤은 “이론상 해커가 어느 한 기업의 AI 툴의 성능 근간이 되는 대규모 언어 모델 접근 권한을 손에 넣으면, 민감 데이터를 서서히 탈취하거나 거짓 혹은 오해를 유발하는 결과물 주입, AI를 동원한 멀웨어 유포 등과 같은 문제를 일으킬 수 있다”라고 설명했다.

상용화 AI 툴은 불분명한 위험성을 일으킬 수 있다. 그러나 보안 컨설팅 기업 프리즘인포섹(Prism Infosec)의 수석 컨설턴트 필 로빈슨(Phil Robinson)이 지적한 바와 같이 업무 도중 사용하기 안전한 것처럼 보이는 지식 재산을 보유한 AI 기능을 제공하면서 발생하는 문제가 증가하는 추세이다.

로빈슨은 “이론상 접근 권한을 차단하지 않았을 때 민감 데이터를 수집할 의도로 악용할 수 있다. 프리즘인포섹은 이미 많은 직원이 급여 수준이나 인수&합병 활동, 기밀 정보를 포함한 문서 등을 요청한 뒤 정보 유출이나 판매되는 사례를 접했다”라고 전했다.

AI 툴을 이용하여 직원 감시를 하여 직원의 프라이버시 침해가 발생할 것이라는 우려도 제기되었다. 마이크로소프트의 리콜 기능 광고에는 “사용자의 화면 이미지는 사용자의 것이다. 리콜 기능으로 촬영한 화면은 PC 자체에 저장된다. 사용자는 항상 신뢰할 수 있는 상태에서 프라이버시를 제어할 수 있다”라는 문구가 기술되었다.

그러나 엘코크는 “AI 기술을 직원 감시 용도로 이용하는 날이 머지않아 다가올 수도 있다”라고 언급했다.

자기 검열
생성형 AI 툴이 제기하는 잠재적 위험성은 여럿이다. 하지만 기업과 직원 개인이 프라이버시와 보안 개선을 위해 거쳐야 할 단계가 있다. 데이터 기업 사마(Sama)의 마케팅 및 커뮤니티 부사장 리사 아보카토(Lisa Avvocato)는 챗GPT, 제미나이 등 대중적으로 접근할 수 있는 AI 챗봇에 기밀 정보를 명령어로 입력해서는 안 된다고 조언했다.

명령어를 생성할 때는 지나치게 많은 정보를 공유하지 않는 선에서 실제 정보를 입력해야 한다. 아보카토 부사장은 “‘예산 지출 제안서 양식을 작성하라’라는 명령어를 입력하라. 민감 정보를 다루는 프로젝트의 예산 정보까지 공개하면서 예산 지출 문서를 작성하도록 명령해서는 안 된다. AI 챗봇이 생성한 결과물을 초안으로 활용한 뒤 최종본에 포함해야 할 민감 정보를 직접 입력하라”라고 말했다.

연구 목적으로 AI 툴을 사용하고자 한다면, 구글 AI 오버뷰와 같은 AI 기반 검색 기능이 제공하는 결과물을 직접 검증하는 방식으로 문제를 피해야 한다.

마이크로소프트는 코파일럿을 올바르게 구성하고, 권한을 최소화해야 한다는 사실을 직접 발표했다. 사용자가 필요한 정보만 접근 권한을 허용해야 한다는 뜻이다. 로빈슨은 “마이크로소프트가 직접 접근 권한을 최소화해야 한다고 밝힌 사실이 중요하다. 기업은 AI 시스템의 초석을 다지고, AI 기술을 사용한 작업 전체가 괜찮을 것이라고 맹신하기만 해서는 안 된다”라고 강조했다.

챗GPT가 대규모 언어 모델 훈련 과정에 사용자가 공유한 데이터를 사용한다는 사실에도 주목할 필요가 있다. 단, 사용자가 직접 설정에서 데이터 공유를 비활성화하거나 엔터프라이스 버전 서비스를 구매한다면, 사용자 정보가 데이터 훈련에 이용될 일이 없다.

데이터 보호 방법
생성형 AI를 자사 제품에 통합하는 기업은 보안, 프라이버시 보호를 위해 최대한 노력한다고 주장한다. 마이크로소프트는 리콜 기능에 보안, 프라이버시 고려 사항을 기술하고, ‘설정(Settings)’ > ‘프라이버시 및 보안(Privacy & security)’ > ‘리콜 및 스냅샷(Recall & snapshots)’에서 프라이버시 및 보안을 직접 설정하도록 한다.

구글은 워크스페이스의 생성형 AI 기능이 사용자의 선택, 데이터 관리 권한을 부여하고자 기본적인 프라이버시 보호 사항을 변경하지 않는다고 공지했다. 또한, 사용자 데이터로 수집한 정보는 광고 목적으로 이용하지 않는다고 덧붙였다.

오픈AI는 자사 제품의 보안, 프라이버시 유지 방법을 재차 설명하면서 엔터프라이스 버전은 추가 관리 기능을 사용할 수 있다고 설명했다. 오픈AI는 와이어드에 “오픈AI는 AI 모델이 개인 정보가 아닌 세계를 학습하는 것을 원했다. 이에, 사용자의 데이터와 프라이버시 보호를 위한 조처에 나섰다”라고 전했다.

오픈AI는 사용자에게 개인 정보 접근, 내보내기, 삭제 등 자체 관리 서비스를 포함한 데이터 사용 방법을 관리할 권한을 부여한다. 챗GPT 팀(ChatGPT Team), 챗GPT 엔터프라이스(ChatGPT Enterprise), 팻GPT API 등은 사용자 데이터나 대화를 바탕으로 훈련받지 않는다. 또한, 사용자 데이터를 사용한 학습을 기본 설정을 적용하지 않았다.

어찌 되었든 많은 근로자가 업무 생산성을 지원하는 AI 툴이 존재한다. AI 시스템이 갈수록 발전하여 사무실 어느 공간에나 존재하여 AI의 위험성이 갈수록 심각해지기만 하는 상황이다. 울벤은 “GPT-4o와 같은 멀티모달 AI는 이미지, 오디오, 영상 분석 및 생성 작업을 처리한다. 따라서 기업은 텍스트 기반 데이터 이외에도 다양한 형태의 데이터 보호를 신경 써야 한다”라고 말했다.

AI 툴의 보안 문제와 데이터 보호를 염두에 두고, 사용자 개인과 기업은 AI를 다른 외부 기업 서비스처럼 다루어야 한다. 울벤은 “외부에 공개하는 것을 원하는 정보는 AI 툴과 공유해서는 안 된다”라고 거듭 강조했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
AI Is Your Coworker Now. Can You Trust It?