By Matt Burgess, WIRED US

사람의 눈을 보고, 많은 것을 말할 수 있다. 눈은 피로, 감정 상태 등을 시사하며, 건강 문제 단서를 제공할 수도 있다. 그러나 눈은 패스워드, 핀 번호, 입력하는 메시지 등 비밀스러운 정보를 유출하기도 한다.

2024년 9월 12일(현지 시각), 컴퓨터 과학자 6명으로 구성된 연구팀이 애플 비전 프로 혼합현실(MR) 헤드셋을 겨냥한 새로운 공격을 발견했다. 비전 프로를 이용한 공격은 사용자의 눈동자 추적 데이터 유출 사항으로 사용자가 비전 프로의 가상 키보드로 입력하는 내용을 읽을 수 있다. 연구팀은 해당 공격을 이른바 ‘게이즈플로잇(GAZEploit)’이라는 이름으로 칭하고는 와이어드와 단독 공유한 자료를 통해 패스워드와 핀 번호, 사용자가 입력하는 메시지 내용을 사용자의 눈을 이용해 재구성할 수 있다고 전했다.

게이즈플로잇 연구를 이끈 왕 한치우(Hanqiu Wang) 연구원은 와이어드와의 인터뷰에서 “해커는 눈의 움직임 방향을 기준으로 피해자가 입력 중인 키를 파악할 수 있다”라고 설명했다. 연구팀은 비전 프로 사용자가 입력한 패스워드를 5차례에 걸쳐 정확도 77%, 메시지 입력 내용을 정확도 92% 수준으로 추측했다.

정확하게 설명하자면, 연구팀은 애플 비전 프로 접근 권한을 손에 넣지 않은 상태에서 사용자가 보는 내용을 추측했다. 연구팀은 접근 권한을 확보하는 대신 비전 프로가 생성한 가상 아바타의 눈동자 움직임 원격 분석 작업으로 입력하는 내용을 추측했다. 가상 아바타는 줌 화상회의, 팀스, 슬랙, 레딧, 틴더, 트위터, 스카이프, 페이스타임 등에 사용할 수 있다.

연구팀은 2024년 4월, 비전 프로의 보안 취약점을 발견하고 애플 측에 경고했다. 이후 애플은 2024년 7월 말 패치 작업을 통해 데이터 유출 위험이 있는 문제를 중단했다. 사용자의 시선 데이터를 민감 정보 유출 공격에 악용한 공격은 이번에 처음 발견되었다. 보안 문제 발견 사항은 사용자의 신체 관련 정보와 측정값 등 생체 데이터가 민감 정보를 유출하여 성장세를 기록하는 감시 업계의 일부분으로 악용하게 될 수 있음을 강조한다.
 
눈동자 움직임 감시
비전 프로 사용 시 사용자의 눈이 마우스 역할을 한다. 타자 입력 시 사용자는 가상 화면에 떠 있는 가상 키보드를 본다. 키보드 위치 이동과 크기 변경도 가능하다. 오른쪽 글자를 볼 때 두 손가락을 함께 치면 클릭 기능을 실행할 수 있다.

사용자는 비전 프로의 가상 공간 안에 머무르지만, 줌이나 페이스타임으로 신속하게 이동하여 타인과 대화할 때나 라이브스트리밍으로 이동할 때는 가상 캐릭터를 사용하게 될 확률이 높다. 사용자의 가상 캐릭터는 비전 프로가 사용자 얼굴 스캔을 통해 생성하는 유령과 같은 3D 아바타 형태로 나타난다.

연구팀은 게이즈플로잇 발견 사실을 밝히는 논문 게재 예고 글에 “비전 프로의 기술은 사용자의 가상 아바타가 사용자의 눈동자를 반영하는 영상 통화를 통해 눈동자 추적 데이터 등 중요한 안면 생체 정보를 노출하는 의도치 않은 문제를 일으킬 수 있다”라고 기술했다. 왕 연구원은 생체 정보인 EAR(eye aspect ratio)과 시선 응시 추측(eye gaze estimation)에 의존하는 작업을 가상 캐릭터 기록에서 수집할 수 있다고 설명했다. 왕 연구원과 마찬가지로 플로리다대학교의 다이 시치(Siqi Dai) 연구원, 맥스 파노프(Max Panoff) 연구원, 왕 슈오(Shuo Wang) 연구원과 블록체인 보안 기업 서틱(CertiK)의 샨 하오치(Haoqi Shan) 연구원, 텍사스공과대학의 잔 지하오(Zihao Zhan) 연구원도 눈동자 추적 기술을 이용한 민감 정보 유출 위험 연구를 진행했다.

게이즈플로잇을 이끈 연구원 중 한 명인 잔 연구원은 게이즈플로잇 공격이 두 가지 부분으로 구성되었다고 설명했다. 연구팀은 우선, 비전 프로 사용자가 공유하는 3D 아바타로 사용자가 직접 입력하는 바를 분석했다. 이 과정에서 다양한 입력 작업을 마친 사용자 30명의 아바타 기록으로 딥러닝 모델의 일종인 순환 신경망(recurrent neural network, RNN)을 훈련했다.

사용자가 비전 프로를 착용한 채로 무언가를 입력할 때는 사용자 시선이 입력하고자 하는 키에 고정되다가 다음으로 입력하고자 하는 키로 재빨리 이동할 확률이 높다. 잔 연구원은 “가상 키보드 입력 시 사용자의 시선은 어느 정도 일정한 패턴을 보여준다”라고 전했다.

왕 연구원은 웹사이트 검색이나 영상 시청 중일 때보다 가상 키보드 입력 도중 사용자의 시선 패턴의 공통점이 더 많다고 설명했다. 왕 연구원은 “시선을 이용한 타자 입력 작업 도중 사용자의 눈 깜빡임 횟수가 줄어든다. 타자 입력 사항에 더 집중하기 때문이다”라고 말했다. 쿼티 키보드를 보는 것과 키보드 사이 특정 글자 키보드를 보는 일은 매우 다른 행동이다.

연구팀은 두 번째 단계에서 기하학 연산을 이용하여 사용자의 키보드 시선이 향한 곳과 사용자가 설정한 키보드 크기 등을 파악했다. 여기서 잔 연구원은 “키보드를 정확하게 복구할 수 있는 시선 정보를 충분히 확보하기만 한다면, 다음 키보드 입력 사항을 탐지할 수 있다”라고 설명했다.

연구팀은 두 가지 요소를 결합하여 비전 프로 사용자가 입력할 확률이 높은 키를 예측했다. 여러 차례 진행한 연구실 실험에서는 피해자의 타자 입력 습관이나 타자 입력 속도, 키보드 위치 등을 전혀 알지 못했다. 그러나 연구팀은 최대 5차례 추측 끝에 사용자가 입력한 글자를 정확하게 예측했다. 메시지 내용 예측 정확도는 92.1%, 패스워드 예측 정확도와 핀 번호 예측 정확도는 각각 77%, 73%였다. 이메일, URL, 웹페이지 입력 사항 예측 정확도는 86.1%였다. (첫 번째 추측 단계에서 사용자가 입력하는 글자 예측 정확도는 35~59% 수준을 기록했다. 정확도는 예측하고자 하는 정보 유형에 따라 차이가 발생했다.) 입력 글자 반복과 오타는 정확한 예측 과정의 어려움을 형성했다.

눈동자 추적 기술을 수년간 연구한 경력이 있으며, 게이즈플로잇 공격 연구 논문을 검토한 알렉산드라 파포우차키(Alexandra Papoutsaki) 포모나대학 컴퓨터과학부 교수는 “누군가의 시선이 향하는 곳을 아는 일은 매우 큰 문제이다”라고 말했다.

파포우차키 교수는 게이즈플로잇 연구가 타인의 가상 캐릭터 영상 피드에만 의존하여 공격을 개시한다는 점에서 이례적이며, 해커가 직접 피해자 기기를 확보하여 눈동자 추적 데이터에 접근하려 할 때와 비교했을 때 더 현실적인 공격이라고 설명했다. 이어, “이제 가상 캐릭터 영상을 재생하기만 해도 사용자가 보는 것을 예측하는 일이 보안 취약점이 된다는 사실이 훨씬 더 중요한 문제이다”라고 전했다.

연구실 설정 환경에서 게이즈플로잇 실험이 진행되었으며, 실제 비전 프로의 가상 캐릭터 사용자를 겨냥한 공격이 발생한 적은 없다. 하지만 연구팀은 해커가 데이터 유출 사항을 악용할 수 있다고 경고한다. 적어도 이론상 사이버 범죄자가 줌 화상회의 도중 기록된 피해자 데이터 파일을 공유하여 구글, 마이크로소프트 등 다른 계정 로그인 접근 권한을 손에 넣을 수 있다. 이후 사이버 범죄자는 피해자의 가상 캐릭터 활동을 기록하면서 피해자 계정에 접속한 상태일 때 공격 수법을 이용하여 패스워드 복구 절차로 이동하고는 계정 접근 권한을 탈취할 수 있다.

신속한 수정
2024년 4월, 게이즈플로잇 연구팀이 연구 결과를 애플 측에 전달하자 애플은 개념 증명 코드를 보내 공격을 복제하도록 했다. 2024년 7월 말, 비전 프로 소프트웨어를 통해 결함을 수정하고는 가상 키보드 사용 시 가상 아바타 공유 기능 지원을 중단했다.

애플 대변인은 비전OS 1.3 배포와 함께 게이즈플로잇 취약점을 수정한 사실을 확인시켜 주었다. 그러나 애플 소프트웨어 업데이트 사항에는 게이즈플로잇 관련 사항이 언급되지 않았다. 연구팀은 애플이 게이즈플로잇에 CVE-2024-40865라는 취약점 코드를 부여하고, 사용자에게 최신 소프트웨어 업데이트를 진행하도록 권고한 사실을 언급했다.

연구 결과는 의도치 않은 개인 데이터 유출이나 해커 세력의 손으로 넘어갈 위험성을 강고한다. 지난 몇 년간 경찰은 온라인에 게재된 사진에서 지문을 수집하고는 CCTV 영상 속 행인의 신원을 파악했다. 법률 집행 기관도 비전 프로를 감시 작전에 투입할 목적으로 테스트했다.

프라이버시와 감시 우려는 웨어러블 기술 장비 크기 축소와 가격 인하, 사용자 정보 추가 수집 가능성이 커지면서 더 큰 부담이 될 수 있다. 와이어드의 요청으로 게이즈플로잇 연구를 검토한 장쳉(Cheng Zhang) 코넬대학교 부교수는 “스마트 글래스, 확장현실(XR) 기기, 스마트워치와 같은 웨어러블 기기의 일상 통합 범위가 넓어지면서 사용자는 기기의 개인 활동 수집 범위와 의도, 프라이버시 위험과의 관련성을 간과하기 쉽다”라고 설명했다. (장 부교수는 인간 행동 해석 보조 웨어러블 장비를 개발한 경험도 있다.)

장 부교수는 “게이즈플로잇 연구 논문은 시선 응시 기반 입력의 특수한 위험성을 설명하지만, 연구 논문이 다룬 위험성은 빙산의 일각에 불과하다. 눈동자 추적 기술을 긍정적인 목적과 애플리케이션 적용 목적으로 개발하더라도 프라이버시 여파를 인지하고 일상생활에서 사용하는 차세대 웨어러블 기기의 잠재적 위험성을 완화할 조처를 해야 한다”라고 강조했다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
Apple Vision Pro’s Eye Tracking Exposed What People Type