By LAUREN GOODE, WIRED US

제이슨 매테니(Jason Matheny)는 드디어 기술과 생물 의학 측면에서 나타날 수 있는 재앙을 장시간 대화를 통해 이야기할 수 있어 기쁜 모습이었다.

랜드 연구소(Rand Corporation) 소장 겸 CEO인 매테니는 기술과 생물 의학의 암울한 전망을 생각하면서 전문 경력을 쌓았다. 공중보건을 중점적으로 다루도록 교육받은 경제학자인 매테니는 약학 개발 세계와 배양육 세계를 깊은 곳까지 파헤친 뒤 국가 안보로 집중 영역을 전환하였다.

미국 정보국 산하 연구 기관인 지능형 첨단연구프로젝트 활동(IARPA) 소장으로서 매테니는 생화학 무기와 잘못된 방식으로 설계된 인공지능(AI)의 위험성에 더 집중하였다. 2021년, 조 바이든 대통령의 수석 기술 및 국가안보 보좌관이 되었다. 그리고 2023년 7월, 매테니는 미국에서 가장 긴 역사를 지닌 국책 연구소인 랜드 연구소 소장 겸 CEO가 되었다. 랜드 연구소는 정부의 핵 전략, 베트남 전쟁, 인터넷 개발 정책을 형성한 기관이다.

매테니는 AI가 실현하는 생화학 테러 위협을 확신에 찬 상태이면서도 신중한 어조로 이야기하였으며, 최후의 심판이 별도로 발생하는 일이라고 전했다. 매테니는 랜드 연구소의 미국 민주주의의 힘겨운 위험성 조사를 피하면서도 기후와 에너지를 중심으로 한 새로운 전략을 구상한다. 그리고 중국에서 재앙이 없는 경쟁을 향한 길을 탐색한다. 하지만 매테니는 장기적으로 생화학 무기를 우려하며, AI를 가장 염두에 두고 있다.

아스펜 연구소(Aspen Institute)와 휴렛 재단(Hewlett Foundation)이 캘리포니아 소살리토에서 개최한 사이버 보안 컨퍼런스인 베리파이(Verify)에서 와이어드와 함께 연설 무대에 올라 AI가 생화학 무기와 각종 치명적일 수도 있는 수단을 개발할 방법을 찾는 것이 더 수월해질 수 있다고 경고했다. (생화학 무기 개발 이후 술집에서 계산할 것이라는 농담을 한 이유이기도 하다.) 대화 내용은 분량과 명확성을 고려하여 편집했다.

로렌 구드 기자: 먼저 랜드 연구소의 역할과 직접 구상하는 미래를 이야기하고자 한다. 랜드 연구소는 미국 역사상 많은 순간에 중요한 역할을 했다. 랜드 연구소가 인터넷 개발에 도움을 준 것을 언급할 수 있다.
제임스 매테니: 지금도 각종 결함을 다루고 있다.

맞다. 모두 하루아침에 해결될 것이다. 랜드 연구소는 핵과 베트남 전쟁, 우주 경쟁에도 영향을 준 기관이다. 랜드 연구소 소장으로 재임하는 동안 정의가 확립되기를 바라는 바가 있는가?
세 가지 분야의 발전을 돕고 싶다. 하나는 안전과 보안 기본 사항 없는 기술적 경쟁을 생각하기 위한 프레임이 필요하다. 재앙과 같은 결과가 발생할 일 없이 경쟁을 보장할 방법을 찾는 것을 한 가지 예시로 언급할 수 있다. 두 번째로 집중할 영역은 기술적 요구사항과 이미 보유하거나 건설 중인 기반 시설에서 받아들일 수 있는 범위에서 미국의 기후와 에너지 전략을 구축하고는 경제적 권리를 누리는 것이다.

세 번째 영역은 지금 당장 미국뿐만 아니라 전 세계가 직면한 민주주의 위험성을 이해하는 것이다. 현재 세계는 정치 논쟁에서 사실과 증거를 대하는 규범이 무너지는 모습을 목도한다. 랜드 연구소에는 규범이 무너진 상황을 몹시 우려하는 연구원이 많다. 미국만의 일이 아니라 전 세계에서 발생하는 일이며, 각종 권위주의가 다시 급부상하는 상황도 함께 펼쳐지고 있다.
 
오랫동안 바이오리스크(biorisk)에 매우 큰 관심을 보였다. 생물학적 위기 중 실제로 발생할 수 있는 최악의 위기는 무엇인가? 그 예시를 설명해달라.
국가 안보 분야를 연구하기 전까지 공중 보건 분야에 주력하며, 말라리아와 결핵 등 전염병 통제 연구를 진행했다. 2002년, 다르파 프로젝트(Darpa project)에서 처음부터 합성된 최초의 바이러스가 등장했다. 생명 과학과 공중 보건 분야에서는 무언가 잘못되었음을 인지하고, 생물학이 악용 소지가 있는 공학 원칙이 되고 있음을 깨닫게 되었다. 당시 두창 퇴치 운동에 참여한 수의사 여러 명과 함께 연구를 진행했다. 당시 함께 한 수의사 여러 명은 수십 년 동안 전염병 연구를 했으나 이제 처음부터 바이러스가 합성된다는 점에서 좌절했다.
 
이후 생명 보안으로 초점을 전화하고는 생물학 연구소의 보안을 강화하여 악용 위험성을 줄일 방법과 생화학 무기 개발 계획을 탐지하는 법을 알아내고자 했다. 안타깝게도 지금도 세계 일부 국가에는 생화학 무기 개발 계획이 많다. 자연에서 발생한 전염병은 물론이고 조작된 대유행병 측면에서 회복성을 향상하기 위해 사회의 보안을 강화할 방법도 찾고자 했다. 

사회에는 수많은 취약점이 남아있다. 코로나19로 입증된 사실이다. 코로나바이러스는 사망률 1% 미만을 기록한 점에서 역사적 측면에서는 위험성이 비교적 적은 바이러스였다. 반면, 자연에서 발생한 바이러스는 사망률이 50%를 넘는다. 사망률이 100%에 육박하면서 SARS-CoV-2처럼 변이 바이러스가 등장하기 쉬운 합성 바이러스도 있다. 백신 개발 방법과 제조 방법을 빨리 알아냈으나 오늘날 백신 승인까지 걸리는 시간은 20년 전과 큰 차이가 없다. 따라서 인류의 백신 접종을 위해 오늘날 필요한 시간은 부모 세대, 조부모 세대에 필요한 시간과 같다.

2002년, 생물 보안에 관심을 갖기 시작했을 당시 매우 작은 바이러스인 폴리오바이러스를 합성하는 데 수백만 달러가 지출되었다. 매우 큰 바이러스인 두창 바이러스를 합성할 때 10억 달러 이상 지출해야 할 수도 있다. 오늘날 두창 바이러스 합성 비용은 10만 달러 미만으로, 과거보다 1만 배 감소했다. 반면, 2002년부터 지금까지 백신 비용은 세 배 증가했다. 방어와 공격 비대칭성이 잘못된 방향으로 향하고 있다는 의미이다.

바이오리스크 측면에서 가장 큰 적은 무엇인가?
첫 번째는 자연이다. 자연적 바이러스 진화는 계속된다. 미래에도 바이러스성 대유행병이 발생할 수 있다. 그중 코로나19보다 더 심각한 질병이 등장할 수도 있다. 반대로 코로나19처럼 심각하지 않은 질병도 등장할 수 있다. 하지만 두 가지 유형의 질병 회복성을 모두 갖추었다. 코로나19가 미국 경제에 미친 영향은 10조 달러가 넘는다. 다음 대유행병 예방에 연방 투자금 20~30억 달러를 투자할 수도 있다.

또 다른 적은 전 세계적 생물학 공격이다. 생화학 무기 개발 계획을 형성한 최후 심판을 주장하는 일본의 이단 종교인 옴진리교를 예시로 언급할 수 있다. 옴진리교는 지구의 모든 생명체를 죽이면서 예언을 충족할 수 있다고 믿는다. 다행히도 옴진리교는 발전 수준이 낮은 1990년대 생물학을 바탕으로 믿음이 형성되었다. 그러나 화학 무기로 눈을 돌리고, 도쿄에서 사린 가스 공격을 개시한 안타까운 일도 있다.
 
오늘날 대규모 사망 사건과 관련되었으며, 생물학을 무기로 보는 데 관심을 보이는 개인과 단체가 있다. 하지만 다양한 수단이나 원재료를 통제하지 않아 생물학을 효과적으로 사용할 수 없다. 대다수 연구실과 전자상거래 플랫폼에서 쉽게 구할 수 있는 재료이기 때문이다. 예를 들어, 오늘날 DNA 합성기는 10만 달러 이내에 구매할 수 있다. 대다수 과학 제품 공급 매장에서 필요한 모든 재료와 소모품도 손쉽게 구할 수 있다.

종말론을 맹신하는 단체에는 각종 과학적 수단을 생화학 무기로 전환하는 요령이 없다. 하지만 AI 때문에 생화학 무기를 완성할 요령을 터득하는 일이 수월해질 것이라는 우려가 있다. AI 안전 및 연구 기업인 앤트로픽(Anthropic)의 일부 연구는 과학적 툴을 생물학적 전문 지식이 없는 이가 과학적 수단을 잘못 사용할 가능성을 진단하는 위험성 평가를 분석했다. 기본적으로 대규모 언어 모델 형태로 디지털 튜터의 교육을 받아 학위 소지자 수준의 지식을 얻을 수 있을까? 지금 당장은 불가능한 일이다. 하지만 지난 몇 년간의 진전 수준을 나타낸다면, 생물학 공격을 개시할 의도를 지닌 이의 진입 장벽이 서서히 무너질 것이다.

누구나 생화학 무기의 위험성에 접근할 의도로 AI를 사용할 수 있다는 위험성을 기억해야 한다.
우려스러운 시대이다. 인간은 그 대가를 치를 것이다.

지금은 모두 AI와 인간의 경쟁력을 장악할 수도 있는 슈퍼 인공지능을 이야기한다.
씁쓸한 일이다.

성공한 이타주의자이지 않은가?
복수 언론 보도에 따르면, 나는 성공한 이타주의자이다.

실제로 스스로 성공한 이타주의자라고 칭하는가?
스스로 성공한 이타주의자라고 생각한 적이 없다. 아내도 나를 성공한 이타주의자라고 평가한 기사를 읽고, “성공한 사람도 아니고, 이타주의자도 아니지 않느냐?”라고 말했다. 하지만 랜더 연구소에는 AI 안전성을 몹시 우려하는 연구원 중 성공한 이타주의자가 실제로 존재한다. 랜더 연구소는 여러 요소보다는 AI 안전을 더 오래 우려한 집단이기도 하다. 그 부분적인 이유는 AI 다수가 컴퓨터 과학에서 등장하기 때문이다.

스스로 성공한 이타주의자자가 아니라고 밝혔지만, 일부 성공한 이타주의자처럼 오랫동안 AI를 매우 우려하였다. 과거, AI를 세계에 공개할 때 신중한 태도를 보였어야 하는 부분은 무엇인가?
인간이 생물학 악용 문제에서 스스로 보호할 때 지식에 상당 부분 의존한다는 사실을 깨달았다. 보호 대책이 없는 상태에서 특수한 전문 지식을 손쉽게 접하도록 하는 AI는 확실히 좋은 것이 아니다. AI의 영향으로 핵 개발 지식이 형성될 것이다. 생화학 무기 관련 지식도 얻을 수 있다. 사이버 무기 지식도 있다. 따라서 무기 체계 지식을 포함한 고도의 특수한 전문 지식을 형성하는 툴의 위험성과 이점 간의 균형을 찾는 것이 중요하다.

2016년에도 분명히 예견된 일이다. 제임스 클래퍼(James Clapper) 전 미국 국가정보국 국장이 우려한 바이다. 버락 오바마 전 대통령도 우려한 바이다. 2016년 10월 인터뷰 기사를 통해 확인할 수 있는 사실이다. (당시 오바마 전 대통령은 AI가 새로운 사이버 공격의 역량을 부여할 수 있다는 점과 오랜 시간 대유행병을 걱정한다는 경고를 전했다.) 오바마 전 대통령이 소프트웨어 엔지니어링이 멀웨어 대규모 생성에 집중하는 속도가 훨씬 더 빨라질 때의 일을 우려했다고 생각한다. 기본적으로 멀웨어 생성 작업을 자동화할 수 있으며, 쉴 틈 없이 새로운 멀웨어 코드를 계속 작성하는 이를 대거 확보할 수 있다.

그와 동시에 사이버 보안 수준을 향상할 수도 있다. 수백만 배 강화된 보안도 개선이 가능하기 때문이다. 일종의 사이버 공격이나 사이버 방어의 자연적 이점의 대규모 존재 가능성이 중요한 의문점 중 하나이다. 장기적으로는 어떤 모습일까? 아직 답을 알지 못한다.

인류가 AI 겨울에 진입하거나 AI 개발 둔화를 접하는 순간이 올 수 있다고 생각하는가? 아니면, 테크 업계 관계자의 주장처럼 오랫동안 완만한 성장세를 기록한 뒤 급속도로 성장하는 순간이 올 수 있는가?
지금 당장 AI 개발 속도의 급격한 둔화를 상상하기 어렵다. 이미 규모가 확장되었다는 점에서 투자 수준이 향상할수록 투자할 수 있는 부분이 많은 긍정적인 피드백 순환이 있는 것처럼 보인다.

따라서 확실히 알 수는 없지만 인류가 AI 겨울을 직면하는 순간이 올 것으로 예상하지 않는다. 랜드 연구소는 과거, AI 개발과 관련하여 흥미로운 예측 실험을 진행했다. 한 가지 예시로 1950년대에 2000년도 인류의 모습을 예측하는 프로젝트가 진행되었다. 1950년대 예측 중 비행하는 차량과 제트 팩이 등장한다는 예측이 많았으나 개인 컴퓨터 소유 예측은 없었다. 따라서 먼 미래 예측은 동전의 앞면과 뒷면 중 하나를 예측하는 것과 큰 차이가 없다고 생각한다.

드론 공격 개시처럼 군사 공격에서의 AI 동원 문제는 어느 정도 우려하는가?
여러 국가가 자동화 무기를 개발하고자 하는 이유는 많다. 그중 한 가지 이유는 자동화 무기 실험대와 같은 역할을 하는 우크라이나의 사례를 통해 볼 수 있다. 우크라이나의 라디오 혼선 공격 동원은 이제 가정마다 전화기를 설치할 필요가 없는 시대에 자동화 무기를 보유하는 것이 매우 매력적인 선택처럼 보이는 이유이다.

하지만 사이버 전쟁은 자치권의 영역 중 비용 대비 이익이 가장 큰 부분이라고 본다. 속도와 통신이 불가능한 곳까지 깊이 침투할 수 있다는 사실 때문이다.

오류 확률이 높은 자동화 드론의 윤리적, 도덕적 여파는 어떻게 생각하는가?
높은 오류 확률을 대상으로 한 경험적 연구는 다소 엇갈린 결론이 제시되었다. 일각에서는 자동화 무기가 오류 발생률이 낮으므로 민간인 사상자 수가 적을 것이라는 결론을 제시한다. 참전한 인간이 간혹 스트레스 상황과 피해 위험 상황 속에서 잘못된 판단을 하는 것이 그 부분적인 원인이다. 간혹 자동화 무기를 사용하여 민간인 사망자가 적은 사례가 발생하기도 한다.

하지만 자동화 무기의 미래를 엿보기는 매우 어렵다. 자동화 무기 전면 금지를 시행한 국가가 많다. 자동화 무기를 사용한 전투 현장과 판단 전 자동화 드론 사용 정확도와 정교함을 지켜보는 방향을 택하는 국가도 있다.

자동화 무기가 강력한 법치주의를 확립한 국가에 더 이익이 되는지 의문을 제기할 수도 있다고 생각한다. 자동화 무기 회의론을 주장하는 이유 중 하나로 무기가 매우 저렴하다는 점을 언급할 수 있다. 매우 취약한 인간의 자본을 갖추었으나 즉시 투입할 돈이 많은 상태이면서 접근할 공급망이 있는 상태라면, 인적 자원에 대거 투자한 민주주의 국가보다는 부유한 독재 국가의 특성에 더 가깝다고 볼 수 있다. 자동화 무기가 민주주의 국가보다 독재 국가에 더 큰 이익이 될 수 있다.

랜드 연구소가 중국 분석 투자 규모를 늘릴 가능성을 시사한 적이 있다. 특히, 중국 경제와 산업 정책, 국내 정책 격차 영역에 집중 투자할 것이라고 언급했다. 투자 규모를 늘린 이유가 있는가?
미중 관계는 전 세계 경쟁 관계 중 가장 중요한 관계이자 중요한 협력 영역이다. 이번 세기를 훌륭하게 보내기 위해 중국 연구 투자 규모를 늘릴 필요가 있다.

미국은 1812년 전쟁 이후 GDP 2/3에 해당하는 부분의 전략적 경쟁국을 만난 적이 없다. 따라서 경제, 산업, 군사, 인적 자원, 교육, 재능 등 무엇이든 여러 경쟁 영역의 순수한 강점과 약점을 정확히 평가해야 한다.

미국과 중국이 협력한다면, 어느 부분에서 상호이익을 누릴 수 있을까? 핵무기 확산 방지, 기후, 대유행병 준비 등 특정 투자 영역에서는 협력이 득이 될 수 있다. 정확한 연구에 따른 협력이 양국에 중요하다고 생각한다.

최근, 엔비디아 CEO 젠슨 황(Jensen Huang)과 대화할 기회가 있었다. 당시 미국의 수출 통제 관련 대화를 나누었다. 2022년 시행된 제재 영향으로 엔비디아의 최고 성능 GPU를 중국에 출하하는 것이 제한된 것을 예시로 언급할 수 있다. 장기적으로 볼 때 미국의 수출 통제 효과는 어떨 것으로 생각하는가?
한 가지 계산이 어려운 부분이 있다. 미국이 엔비디아의 H100을 비롯한 최첨단 칩을 중국에 출하하지 못하도록 막는다고 해도 중국이 다른 수단을 통해 최첨단 칩을 확보할 수 있는 일이 아닌가? 두 번째로 제기할 수 있는 의문 사항은 중국이 최첨단 칩이 아니더라도 직접 칩을 생산한다면, 서양 세계에서 우려할 만한 수준의 성능을 충분히 수행할 수 있을 가능성이다.

중국의 국가안보 의사 결정자가 공격적인 툴의 무기 생성용 데이터센터가 필요하다고 말하며, 업계 최고 최첨단 칩만큼 비용 효율성이 훌륭하지 않더라도 에너지 비용이 더 비싸면서 느리다는 점에서 더 큰돈을 투자해야 할 가능성을 이야기한다고 생각해 보아라. 칩 생산 시 필요한 기반 시설을 확립하기 위한 비용을 부담해야 할 것이다. 그렇다면, 어느 시점에 비용을 부담할 의사가 사라질까? 투자 비용 대비 수익이 10배를 기록하는 순간일까? 아직 답을 찾지 못한 질문이다.

하지만 수출 통제 때문에 특정 사업 운영이 더는 불가능한 일이 될 수도 있다. 화웨이 칩으로 할 수 있는 일과 엔비디아 칩으로 할 수 있는 일의 격차는 날이 갈수록 커진다. 화웨이 칩 기술이 중국 내 기술로 국한된 반면, 나머지 세계는 더 발전한 첨단 칩을 계속 확보하기 때문이다. 각종 군사 작전에 유용할 수도 있는 컴퓨터 전력에서 특정 군사 효율성을 막는 역할을 할 수 있다. 이와 관련된 사실을 최초로 분석한 기사는 뉴욕타임스 폴 모주르(Paul Mozur) 기자의 기사가 작성한 엔비디아 칩이 신장지구 데이터센터 가동을 지원한다는 내용의 기사이다. 모주르 기자의 기사에 언급된 신장지구 데이터센터는 위구르족 수용소 실시간 감시 목적으로 운영되는 곳이다.

이 부분에서 매우 어려운 질문을 할 수 있다. 최첨단 칩이 인권 탄압에 동원되는 데이터센터로 향할 수 있을까? 정책의 한 가지 관점을 떠나 정확하게 계산하는 것이 중요하다. 바로 랜드 연구소에서 주로 초점을 맞추는 부분이기도 하다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
A National Security Insider Does the Math on the Dangers of AI