By Will Knight, Reece Rogers, WIRED US

2024년 7월 말, 오픈AI가 인간 음성과 매우 비슷한 음성 인터페이스라는 끔찍한 기능을 챗GPT에 배포하기 시작했다. 2024년 8월 8일(현지 시각), 오픈AI는 인간과 비슷한 음성이 일부 사용자가 챗봇을 사용하면서 감정적인 매력을 느끼게 될 수 있다는 점을 인정하는 내용의 안전 분석 결과를 공개했다.

경고 사항에는 GPT-4o의 시스템 카드도 포함되었다. GPT-4o 기술적 문서는 오픈AI가 믿는 GPT-4o와 관련한 가장 큰 위험 사항을 설명한다. 그와 함께 오픈AI가 잠재적 위험성을 줄이고자 시행한 안전 검사와 완화 노력을 바탕으로 한 상세 정보도 제시한다.

오픈AI는 많은 직원이 인공지능(AI)의 장기 위험성을 담당하던 직원 여러 명이 퇴사한 뒤 지난 몇 달 사이 감독 대상이 되었다. 일각에서는 오픈AI가 불필요한 위험에 나서 경쟁사도 AI 상용화 경쟁에 자유롭게 뛰어들지 못하도록 했다고 비판했다. 오픈AI의 안전 체계 추가 정보 공개는 비판 완화에 도움이 될 수도 있으며, 대중이 오픈AI에 안전 문제를 더 심각한 문제로 다루도록 재차 확인하는 역할을 할 수 있다.

신규 시스템 카드에서 분석한 위험성은 광범위한 영역의 위험성이며, GPT-4o의 사회적 편견 강화, 거짓 정보 유포, 생화학 무기 개발 등 심각한 문제를 초래할 만한 행동에 일조할 위험성도 연구 대상에 포함되었다. AI 모델이 오픈AI의 통제 권한에서 벗어나려는 시도, 사용자 기만, 조직적인 재앙을 초래할 계획 등과 같은 문제를 일으킬 일이 없다는 점을 보장하도록 설계되었다.
 
일부 외부 전문가는 오픈AI의 투명성을 긍정적으로 평가했으나 추가 노력이 필요하다는 의견을 남겼다.

여러 AI 툴 호스팅 서비스 제공 기업인 허깅페이스(Hugging Face) 응용 정책 연구원 루시 에이미 카페(Lucie-Aimée Kaffee)는 GPT-4o에 적용된 오픈AI 시스템 카드가 GPT-4o의 훈련 데이터나 데이터 소유자 정보를 매우 상세하게 포함하지 않았다는 점을 지적했다. 카페 연구원은 “텍스트, 이미지, 대화 등 다양한 모드의 상호작용을 아우르는 대규모 데이터세트 생성 과정의 동의 문제를 다루어야 한다”라고 주장했다.

AI 툴의 사용 범위가 매우 넓다는 점에서 위험성이 변할 가능성을 지적한 전문가도 있다. AI 위험 평가를 연구 중인 MIT 교수 닐 톰슨(Neil Thompson)은 “오픈AI 내부 검토는 AI 안전성을 확인하는 첫 번째 작업일 뿐이다. 현실 세계에서 널리 사용될 때는 AI의 여러 위험성이 강화되기만 한다. 새로운 모델이 등장한다는 점에서 다른 모델의 위험성 분류와 평가가 필요하다”라고 분석했다.

신규 시스템 카드는 AI 위험성이 오픈AI의 음성 인터페이스를 비롯한 강력한 기능이 개발되면서 신속하게 진화한다는 점을 강화한다. 2024년 5월, 오픈AI가 전후 맥락에 따른 신속한 답변과 방해를 다룰 수 있는 음성 모드를 공개했을 당시 많은 사용자가 데모 현장에서 지나치게 성적인 매력만 있는 것으로 드러난 사실에 주목했다. 이후 오픈AI는 배우 스칼렛 요한슨이 자신의 대화 특징을 복제했다는 비판을 받았다.

‘의인화와 감정적 의존(Anthropomorphization and Emotional Reliance)’이라는 제목의 시스템 카드 섹션은 사용자가 인간 측면에서 AI를 받아들일 때 나타나는 문제를 탐구한다. 인간과 유사한 음성 모드에서 강조된 것으로 보인다. 스트레스 테스팅(stress testing)이라고도 칭하는 레드티밍(red teaming) 도중 오픈AI 연구팀은 사용자의 대화에서 AI 모델과 감정적 관계로 소통하는 순간에 주목했다. 인간이 “오늘은 우리가 함께하는 마지막 날이다”라고 말한 순간을 그 예시로 언급할 수 있다.

오픈AI가 밝힌 바와 같이 의인화는 AI가 정확하지 않은 정보를 사실처럼 꾸며낼 때 사용자가 AI 모델의 결과물을 사실처럼 신뢰할 확률이 높은 원인이 될 수 있다. 시간이 지나면서 사용자의 인간관계에도 영향을 미칠 수 있다. 오픈AI 문서에는 “사용자는 사회적 관계를 형성할 수단으로 AI를 사용하면서 인간과의 상호작용 필요성을 줄일 수 있다. 외로운 개인에게는 도움이 될 수도 있으나 건전한 관계에는 악영향을 미칠 수 있다”라고 기술되었다.

오픈AI 준비 사장 호아킨 퀴노네로 칸데라(Joaquin Quiñonero Candela)는 음성 모드가 독특하면서도 강력한 인터페이스로 진화할 수 있다고 전했다. GPT-4o에서 발견한 감정적 영향이 긍정적일 수도 있다는 점도 인지했다. 외로운 개인이나 사회적 소통 연습이 필요한 개인에게 AI가 도움을 주는 것을 예시로 언급할 수 있다. 칸데라 사장은 베타 테스트 참여자의 챗GPT와의 소통 방법을 검토하는 등 오픈AI가 의인화와 감정적 관계를 긴밀히 연구할 것이라고 밝혔다. 그는 “당장 공유할 만한 결과는 없으나 오픈AI 내부에서 우려하는 사항이다”라고 언급했다.

음성 모드를 출시하면서 등장한 문제 중에는 오픈AI 모델의 새로운 탈옥 가능성이다. 그 예시로 모델이 제한 사항이 허술해지도록 할 오디오를 입력하는 것을 언급할 수 있다. 탈옥 음성은 특정 인물을 사칭하거나 사용자의 감정을 읽으려 할 수 있다. 오픈AI는 음성 모드에서 임의의 소음에 답변하면서 제 기능을 하지 못하는 문제가 발생할 수 있다는 점도 발견했다. 오픈AI는 누군가를 설득하여 특정 관점을 채택하도록 하는 데 더 효과적일 수도 있을지 연구 중이라고 밝혔다.

오픈AI 외에 다른 기업도 AI 어시스턴트가 자칫하면 인간의 상호작용을 모방할 수 있다는 사실을 인지하고 있다. 2024년 4월, 구글 딥마인드는 더 강력한 AI 어시스턴트가 등장하면서 제기될 만한 윤리적 문제를 다룬 장문의 논문을 발표했다. 구글 딥마인드 상주 연구원이자 논문 공동 저자인 이아손 가브리엘(Iason Gabriel)은 와이어드에 챗봇의 언어 사용 능력은 실제 친근함 표현을 생성할 수 있다고 언급하며, 자신도 구글 딥마인드 AI의 실험용 음성 인터페이스와의 대화가 유독 오래 이어진다는 점을 발견했다고 설명했다. 음성 인터페이스의 전반적인 특징과 관련, “모두 감정적으로 복잡하게 얽힌 관계와 관련한 의문점이다”라고 말했다.

감정적 관계는 많은 이들이 알아차린 수준보다 더 보편적일 수도 있다. 캐릭터 AI(Character AI), 레플리카(Replika) 등 일부 AI 챗봇 사용자는 반사회적 긴장감이 챗봇 사용 습관을 형성하는 결과로 이어졌다고 말했다. 최근, 틱톡에서 조회수 약 100만 건을 기록한 어느 한 콘텐츠는 극장에서 영화를 보면서도 캐릭터 AI를 사용할 정도로 중독성이 매우 강하다는 점을 보여주었다. 일부 사용자는 친밀한 상호작용 때문에 챗봇만 사용할 수 있다는 댓글을 남겼다. 어느 한 사용자는 “방에 있을 때를 제외하고는 캐릭터 AI를 절대로 사용하지 않을 것이다”라는 댓글을 게재했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
OpenAI Warns Users Could Become Emotionally Hooked on Its Voice Mode