By Lily Hay Newman, WIRED US

생성형 인공지능(AI)은 여러모로 프라이버시 저하 문제를 일으켰다. 웹 데이터를 대거 수집하여 머신러닝 모델을 훈련한 탓이다. 사용자 개인 정보는 잠재적 노출 위협이라는 새로운 시대를 직면했다. 애플은 2024년 9월 자로 iOS18과 맥OS 세쿼이아(macOS Sequoia)를 배포하면서 생성형 AI 경쟁에 나서기 시작했다. 동시에 궁극적으로 애플 생태계의 기본 서비스가 될 애플 인텔리전스(Apple Intelligence)를 출시했다. 그러나 애플은 프라이버시와 보안을 우선순위로 삼는 것으로 명성이 자자한 기업이다. 따라서 애플은 생성형 AI의 프라이버시 보호라는 대대적인 노력에 나섰다. 애플 인텔리전스가 시스템이 기계 자체에서는 질문을 처리할 수 없을 때 애플 인텔리전스가 사용할 클라우드 서비스로 대규모 맞춤 인프라와 투명성 기능인 ‘프라이빗 클라우드 컴퓨트(Private Cloud Compute, 이하 PCC)’를 개발했다.

기기 자체에서 데이터를 처리하는 접근 방식의 매력은 공격자의 사용자 데이터 탈취 경로를 제한한다는 사실이다. 데이터는 작업을 처리하는 컴퓨터나 스마트폰을 벗어난 곳으로 절대 유출되지 않는다. 이때 공격자는 공격 표적을 찾아야 한다. 데이터를 기업에 넘겨주어 클라우드에서 작업을 처리하도록 하는 일은 보안 문제의 본질이 아니다. 계산하기 어려울 정도의 다량의 데이터를 글로벌 클라우드 인프라로 매일 안전하게 옮기는 일이 문제이다. 그러나 매우 광범위한 공간으로 이동하여 의도치 않은 데이터 유출 실수가 발생할 가능성이 발생한다. 의도치 않은 데이터 유출 문제는 콘텐츠 생성 작업을 처리하는 시스템이 의도치 않은 방식으로 생성 콘텐츠에 접근하여 정보를 공유할 수 있다는 점을 고려하면, 유독 심각한 문제이다. 

애플은 PCC로 혁신적인 클라우드 보안 기술을 여럿 개발했다. 그러나 PCC는 클라우드 서비스를 위해 받아들일 수 있는 기업 제안 정도를 제한하여 기술적 효율성이나 경제성이 가장 뛰어날 수도 있는 부분보다는 기술 아키텍처를 우선순위로 삼는 것처럼 보인다는 점에서도 중요하다.

크레이그 페더리기(Craig Federighi) 애플 소프트웨어 엔지니어링 수석부사장은 와이어드에 “애플은 아이폰으로 기기 자체에서 작업을 처리하면서 확립한 프라이버시를 클라우드로 보장 범위를 넓히는 것을 목표로 시작했다. 모든 부분에서 협력하여 프라이버시 혁신을 이루었다. 그러나 애플이 한 일은 자체 목표를 달성한 것이다. PCC의 프라이버시가 업계에서 클라우드 내 데이터 처리의 새로운 표준을 설정했다고 생각했다”라고 말했다.

애플 개발팀은 잠재적 공격 지점과 클라우드 컴퓨팅이 도입할 수 있는 보안 함정 여러 가지를 제거하고자 보안과 프라이버시 보장 수준은 정책을 통한 시행보다 기술적으로 모든 요소를 실행할 수 있을 때 가장 강력하다는 생각에 집중했다.

다시 말해, 카운터에 컵케이크를 담은 접시가 있을 때 스스로 컵케이크를 절대로 먹지 않는다는 정책을 세우는 것과 같다. 아니면, 컵케이크를 만들거나 판매하지 않는다는 정책을 고수하는 것이다. PCC의 접근 방식은 빵집이 없는 마을로 이동해 부엌을 제거하고는 신용카드를 막아 스스로 오븐을 구매할 방법을 차단하는 것과 같다. 이 방법을 택한다면, 컵케이크 접근이나 의도치 않게 컵케이크를 널리 공개할 일이 없다.
 
새로 시작하기
애플은 PCC용 자체 프로세서를 가동하는 목적 설계 서버를 생성하고는 iOS와 맥OS를 결합한 것과 같은 별도의 PCC 서버 운영체제를 개발했다. 애플이 지난 20여 년간 맥과 아이폰에 적용하고자 개발한 하드웨어와 소프트웨어 보안 기능을 통합한 셈이다.

PCC 서버는 소비자 기기와 달리 최대한 기본 요소만 갖추었다. 예를 들어, PCC 서버는 영구 저장소가 없다. 처리된 데이터를 장기간 보관할 하드드라이브가 없다는 뜻이다. PCC 서버는 ‘시큐어 인클레이브(Secure Enclave)’라는 이름으로 알려진 전용 하드웨어 암호화 키 매니저를 통합하고, 실행할 때마다 파일 시스템 별로 암호화키를 임의화한다. PCC 서버를 재실행할 때 유지하는 데이터가 없다는 의미이다. 추가 안전 방안으로 시스템 전체는 암호화 기술로 복구가 불가능하도록 설정되었다. 재실행했을 때는 모는 서버는 새로운 암호화 키로 처음부터 새로 시작한다.

PCC 서버는 애플 시큐어 부트를 사용하여 운영체제 무결성을 검증하고, iOS17 배포 당시 새로 추가된 코드 인증 기능인 트러스티드 엑시큐션 모니터(Trusted Execution Monitor)를 사용한다. PCC는 트러스티드 엑시큐션 모니터를 유용한 감시 수단으로 활용하는 대신 시스템을 차단하고는 새로운 코드를 게재하지 못하도록 한다. 기본적으로 서버가 실행해야 하는 모든 소프트웨어는 갑자기 확인, 검증 실패 후 사용자가 요청하기 전 비공개 상태로 보호된 데이터로 향하고는 데이터 처리를 시작한다.

더 포괄적인 범위에서 보자면, 애플은 일반 서버 관리 툴 전체를 PCC 서버로 대체한다. 예를 들어, 대다수 클라우드 플랫폼에는 권한이 없는 접근을 막기 위한 정책과 제어 방식이 존재한다. 긴급한 상황에는 신뢰도가 높은 관리자 계정이 철저하게 보호된 데이터에 예외적으로 접근하고는 버그나 실패 발생 시 즉시 대응한다. 애플의 정책 보장에 맞선 기술적 실행 가능성 보장 집중 상태를 유지하기 위해 PCC는 특별 접근 권한을 허용하지 않고, 원격 관리 방식을 엄격하게 제한한다.

지난 몇 년간 애플은 사용자에게 아이클라우드 백업 단대단 암호화 기술을 제공하여 중요한 보안 조처를 시행했다. 애플은 고객용 클라우드 인프라에 데이터를 보관하기만 하고, 기술적으로는 데이터 암호화를 해제하고는 읽지 않는다. 현재 적용된 기술로는 이와 같은 보안 방식은 생성형 AI를 구축할 수 없다. 시스템에서 입력 값을 처리하여 결과를 제공해야 하기 때문이다. 예를 들어, 사용자가 최근 3시간 동안 수신한 모든 문자와 이메일 내용을 애플 인텔리전스로 요약하고자 할 때 시스템은 메시지 접근 권한이 필요하다. 그러나 단대단 암호화 기술 때문에 사실상 접근이 불가능하다.

애플은 애플 인텔리전스의 데이터 처리를 최대한 기기 자체에서 처리하도록 지원하는 데 전념한다고 밝혔다. 예를 들어, A18 칩을 탑재한 아이폰16 라인업은 A16 칩을 탑재한 아이폰15보다 기기 자차에서 처리하는 AI 작업이 더 많다. 그러나 현실은 애플이 클라우드에서 애플 인텔리전스의 기본적인 작업을 다량으로 처리해야 하므로 PCC 개발 투자가 필요하다. iOS 18.1을 실행한다면, ‘설정(Settings)’ > ‘프라이버시 및 보안(Privacy & Security)’ > ‘애플 인텔리전스 리포트(Apple Intelligence Report)’ 순서로 이동하여 기기 자체에서 처리하는 작업과 클라우드에서 처리하는 작업을 확인할 수 있다.

페더리기 부사장은 “클라우드 내 대규모 언어 모델 인터페이스는 서버에서 데이터를 어느 정도 읽고 추론하여 작업 처리를 수행할 수 있다는 문제가 독특하다. 그러나 데이터 처리 과정이 사용자 기기의프라이버시 버블 안에 철저하게 보호된다는 점을 확인할 필요가 있다. 따라서 새로운 작업이 필요했다. 서버가 아무것도 알지 못하는 단대단 암호화 기술은 실행할 수 없다는 점에서 비슷한 보안 수준을 달성하기 위해 다른 해결책이 필요하다”라고 설명했다.

그러나 애플은 사용자 기기에서 단대단 암호화 기술을 지원하여 PCC 노드를 검증하여 PCC 노드의 철저한 보호 범위에서 벗어난 이들이 데이터 이동 중 작업 요청 사항에 접근하지 못하도록 한다. 시스템은 애플 인텔리전스 데이터가 로드 밸런서(load balancer), 로그인 데이터 등 표준 데이터센터 서비스에는 암호학적으로는 접근이 불가능하도록 설계되었다. PCC 서버 내부에는 데이터 암호화 해제 처리가 되었으나 애플은 응답을 암호화하고는 사용자에게 전송한다. 이 과정에서 보관하거나 기록하는 데이터는 전혀 없으며, 애플이나 직원 개인이 접근한 적도 없다.

공개 접근 가능하지만 폐쇄된 시스템
애플은 특정 사용자 개인 데이터를 공격 표적으로 삼으려면, 공격자가 시스템 전체 보안을 침입해야 하는 포괄적인 비전을 제시했다. 공격자가 시스템 전체를 공격하는 행위는 탐지되지 않은 상태 외에는 매우 어려운 일이다. 공격자가 물리적으로 개인 라이브 PCC 노드 보안 침입을 해도 시스템은 익명의 연계 기능을 고안하여 임의의 노드에서 질의와 데이터를 개인 사용자와 연결할 수 없도록 한다.

모두 흥미롭게 들리지만, 상세 정보 비공개가 철저한 것으로 익히 알려진 애플은 모든 프라이버시 보장을 주장하고는 기술적 보장 제공이 궁극적으로는 투명성 증명의 유일한 매력임을 인지한 듯하다. 따라서 PCC는 중요한 이중 목적 역할을 하는 외부 감사 메커니즘을 포함했다.

애플은 PCC 서버 모두 조사 목적으로 공개 접근이 가능하도록 제작하여 애플과 관련이 없는 이들이 PCC 활동을 검증하도록 지원한다고 주장한다. 또, 모든 것을 올바르게 구축한다는 점도 확인하도록 한다. PCC 서버 이미지 모두 기본적으로 거부가 불가능한 서명 주장 기록인 암호화 증명 기록에 기록하고는 각각의 진입 지점에 개인이 구축하는 다운로드 지점에 URL을 포함한다. PCC는 애플이 서버를 기록이 없는 제작 지점에 둘 수 없도록 설계한다. 투명성 제공 이외에도 시스템은 중요한 집행 메커니즘으로 작업하여 악성 사용자가 보안 문제가 있는 PCC 노드를 설정하고는 트래픽 방향을 변경하는 일을 막는다. 서버 구축 기록이 없다면, 아이폰은 애플 인텔리전스의 질문이나 데이터를 전송하지 않는다.

PCC는 애플 버그 바운티 프로그램 대상에 해당한다. 버그 바운티 프로그램에 참가하여 취약점이나 구성 오류를 발견한 연구원은 보상금을 지급받는다. 애플은 2024년 7월 말 iOS18.1 베타 버전 배포 후 PCC 결함을 발견했다고 알린 이는 단 한 명도 없었다. 그러나 애플은 선정된 연구원 집단이 사용할 수 있는 PCC 평가 툴을 개발하기만 한 사실을 인정했다.

와이어드의 취재에 응한 보안 연구원과 암호학자 여러 명은 PCC가 유망한 생성형 AI 지원 방식처럼 보이지만, 아직 자세히 분석하는 데 오랜 시간을 투자하지 않았다고 전했다.

페더리기 부사장은 “과거 시도한 적이 없는 시점에 애플 실리콘 칩을 데이터센터에서 개발하고, 데이터센터에서 가동하는 맞춤 운영체제를 개발하는 일은 매우 중요한 일이다”라고 말했다. 이어, “기기가 서버 요청 발행을 거부하는 신뢰 모델 개발은 서버가 가동하는 모든 소프트웨어 서명을 투명성 기록에 발행하지 않는다면, 가장 독특한 솔루션 요소가 될 것이밍 분명하다. 또, 전체적으로 신뢰 모델에 중요하다”라고 덧붙였다.

오픈AI와의 협력을 바탕으로 챗GPT를 통합한 것과 관련하여 애플은 PCC가 오픈AI와의 협력 범위에 해당하지 않으며, PCC는 별도로 가동한다는 점을 강조했다. 챗GPT를 포함한 다른 생성형 AI 기술 통합 사항은 기본 설정 단계에서 비활성화된다. 사용자는 이를 사용하려겸, 직접 활성화 상태로 전환해야 한다. 애플 인텔리전스가 작업 요청을 챗GPT나 다른 협력 플랫폼 중 더 나은 처리 대상을 판단한다면, 이를 사용자에게 매번 알리고는 작업을 진행할 것인지 물어본다. 게다가 사용자는 통합 사항을 사용하면서 챗GPT 등 다른 협력 서비스를 사용하고자 개인 계정 정보 로그인이나 로그인 없이 애플을 통해 접근하는 방법 중 하나를 선택할 수 있다. 2024년 6월, 애플은 구글 제미나이와의 통합도 진행 중이라고 밝혔다.

애플은 애플 인텔리전스 미국식 영어 버전 서비스 출시를 넘어서 2024년 12월, 호주, 캐나다, 뉴질랜드, 남아프리카공화국, 영국식 영어 버전도 출시한다고 발표했다. 또, 중국어, 프랑스어, 일본어, 스페인어 등 다른 언어 버전도 2025년 중으로 출시할 계획이라고 밝혔다. 애플 인텔리전스가 유럽연합의 AI법(AI Act) 규정에 따라 승인받을 가능성과 현재 형태의 PCC를 중국에서도 제공할 가능성은 별도의 의문점이다.

페더리기 부사장은 “애플은 세계 어느 곳에서든 고객에게 제공할 수 있는 최고의 기능을 제공하는 것이 이상적인 목표로 두고 있다. 그러나 규제를 준수해야 하며, 특정 환경에서는 규제 준수에 따른 서비스 제공을 위한 과정이 불확실하다. 따라서 최대한 가능한 범위에서 고객에게 서비스를 제공하고자 노력한다”라고 말했다.

이어, 애플이 애플 인텔리전스의 기기 내 연산 처리 능력을 확장한다면, 이를 일부 시장에서 시장 진입 장벽을 우회할 수단으로 활용할 수 있다고 덧붙였다.

애플 인텔리전스에 접근하는 사용자는 작문 툴 활용부터 사진 분석 툴 활용까지 이전 iOS 버전보다 훨씬 더 많은 작업을 처리할 수 있다. 페더리기 부사장은 애플 인텔리전스로 생성한 이미지 플레이그라운드 생성 기능을 활용하여 가족과 함께 애완견의 생일을 기념했다고 언급하며, 그 이미지를 와이어드에 단독으로 공유했다. 애플의 AI는 최대한 눈에 띄지 않는 범위에서 유용한 기능을 제공하지만, 그 근간이 되는 인프라의 보안 위험성은 매우 높다. 그렇다면, 지금까지 프라이버시 지원은 어떤 방식으로 이루어졌는가? 페더리기 부사장은 한 치도 망설임 없이 “PCC 배포가 특별히 흥미로운 점 없이 이루어졌다는 점이 기쁘다”라고 전했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Apple Intelligence Promises Better AI Privacy. Here’s How It Actually Works