By WILL KNIGHT, WIRED US

오픈AI가 지난 몇 달간 가장 강력한 인공지능(AI) 개발 작업을 너무 성급하게 서둘러 무차별적으로 추진하는 기업의 비판을 직면했다. 오픈AI는 AI를 진지하게 생각한다는 점을 보여주려는 의도를 드러냈다. 2024년 7월 17일(현지 시각), 오픈AI가 AI의 역량과 유용함이 향상되어도 연구원의 AI 모델을 검증하는 과정에서 연구원에게 도움을 줄 만한 연구 내용을 발표했다.

오픈AI가 공개한 새로운 연구 내용은 오픈AI가 지난 몇 주간 홍보한 AI 안전과 관련성이 있는 여러 가지 아이디어 중 하나이다. 더 강력한 모델의 투명성을 향상하도록 AI 모델 두 가지가 대화에 참여하도록 하는 과정을 포함한다. 즉, 합리적인 내용으로 합당한 결과물을 생성하여 인간 사용자가 AI의 근거를 이해하도록 돕는 것이다.

오픈AI의 AI 안전 연구에 참여한 천이닝(Yining Chen) 연구원은 와이어드의 문의에 “안전성과 유익함을 모두 갖추는 것이 범용 인공지능(AGI) 개발 핵심 임무이다”라고 답변했다.

지금까지 진행된 AI 안전성 검증 작업은 간단한 수학 문제를 풀도록 설계된 AI 모델로 실험을 진행했다. 오픈AI 연구팀은 AI 모델에 특정 수학 문제의 답변 제시 이유나 문제 풀이법을 설명하도록 명령했다. 연구팀이 실험에 채택한 두 번째 AI 모델은 정답 혹은 오답 탐지 훈련을 받은 모델이다. 따라서 연구팀은 두 가지 모델이 서로 대화를 나누면서 수학 문제를 풀도록 하는 것이 더 적합하면서도 특정 답을 제시한 이유의 투명성을 향상할 수 있다는 점을 발견했다.
 
오픈AI는 두 가지 AI 모델을 이용한 투명성 향상 방식을 상술한 연구 논문을 공개했다. 천 연구원과 함께 연구에 참여한 오픈AI의 얀 헨드릭 커치너(Jan Hendrik Kirchner) 연구원은 “장기적 안전 연구 계획의 일부분이다. 오픈AI는 다른 연구원이 후속 연구를 진행하고, 다른 알고리즘에도 마찬가지로 AI 안전성 향상 노력을 적용하기를 바란다”라고 말했다.

투명성과 설명 능력은 가장 강력한 AI 시스템을 개발 중인 AI 연구원의 핵심 우려 사항이다. 대규모 언어 모델은 결론에 도달한 과정을 합리적으로 설명하지만, 미래에 개발될 AI 모델이 불투명한 문제나 설명 과정에서 사용자를 속일 수 있다는 점이 핵심 우려로 지적되었다. 더 나아가 AI가 거짓말을 하면서 바람직하지 못한 목표를 추구할 수도 있다.

오픈AI가 공개한 AI 안전성 연구는 챗GPT와 같은 AI 챗봇의 핵심인 대규모 언어 모델 운영 방식을 이해하려는 포괄적인 노력의 한 부분이다. 더 강력한 AI 모델의 투명성을 향상하여 결과적으로 안전성도 높이는 데 도움이 될 만한 방법이다. 오픈AI를 포함한 여러 AI 기업은 대규모 언어 모델의 어려운 작업을 신중하게 분석할 기계적 방식도 탐색 중이다.

오픈AI는 비판 여론을 직면한 뒤 지난 몇 주간 AI 안전 연구 작업을 추가로 공개했다. 2024년 5월, 와이어드는 AI의 장기적 위험성 연구를 전담한 연구팀이 해체된 소식을 접했다. 2023년 11월, 샘 알트만이 CEO 자리에서 잠시 퇴출당했을 당시 오픈AI 이사회 구성원이었던 오픈AI 공동 창립자 겸 핵심 기술 책임자인 일리야 서츠케버(Ilya Sutskever)가 오픈AI를 떠나고 얼마 지나지 않은 시점에 발생한 일이었다.

오픈AI는 AI의 검증 및 안전 투명성을 모두 향상할 방법을 약속하면서 창립되었다. 챗GPT가 손쉽게 대성공한 뒤 자본 지원이 탄탄한 경쟁사와의 경쟁이 치열해지자 일각에서는 오픈AI가 놀라운 기술 발전과 시장 점유율을 안전성보다 더 중요하게 생각한다고 비난했다.

오픈AI 퇴사 후 오픈AI의 AI 안전 접근 방식을 비판하는 서한에 서명한 다니엘 코코타지로(Daniel Kokotajlo) 연구원은 오픈AI가 새로 발표한 연구가 중요한 추가 작업이지만, AI 기술 개발사의 추가 감독이 필요하다는 사실 자체를 바꾸지는 못한다는 견해를 전했다. 그는 “AI 개발 부문의 상황은 여전히 달라진 바가 없다. 불투명함, 책임 부재, 규제가 없는 상태에서 펼치는 초인공지능 개발 경쟁은 기본적으로 통제 계획이 없다”라고 지적했다.

공개 발언 권한이 없어 익명을 요청한 오픈AI 내부 연구 상황에 정통한 또 다른 소식통은 외부에서 AI 기업을 감독하는 일도 필요하다고 주장했다. 해당 소식통은 “AI 기업이 현재 진행 중인 작업과 이윤보다는 사회적 이익을 우선순위로 지정할 필요가 있는 관리 방식을 진지하게 생각하는지 의문을 제기할 수 있다. 기업 차원에서 소속 연구원 누구든 일종의 안전 연구와 비슷한 일을 하도록 둔다는 점 자체가 중요한 것은 아니다”라고 말했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
OpenAI Touts New AI Safety Research. Critics Say It’s a Good Step, but Not Enough