By JULIAN CHOKKATTU, WIRED US

필자가 여러 해에 걸쳐 각종 소비자 기기를 평가하면서 신제품을 접하고, 입이 떡 벌어질 정도로 놀랐던 적은 손에 꼽을 정도로 적다. 제품 리뷰 전문 기자가 회의적인 관점에서 제품을 평가하는 것은 좋은 일이다. 하지만 필자는 구글이 픽셀 8, 픽셀 8 프로 신제품 공개 현장에서 사진 기능의 몇 가지 속임수를 시연할 때 놀라움을 금치 못했다.

구글의 시연 현장에서 벗어나 설명하자면, 구글이 선보인 사진 속임수 자체는 포토샵이나 영상 편집 소프트웨어 지식이 있는 사용자 누구나 실행할 수 있는 기능이다. 그러나 픽셀 8 시리즈는 사진 편집 기능에 누구나 접근하도록 했다. 흥미로운 부분이자 솔직하게 표현하자면, 약간 두려운 부분이기도 하다. 픽셀 8 시리즈에 추가된 사진 기능을 아래와 같이 더 자세히 설명한다.
 
매직 에디터
구글은 2023년 5월, 개발자 컨퍼런스 당시 픽셀 8 시리즈의 사진 기능을 공개했다. 구글이 몇 년 전 처음 선보인 매직 이레이저(Magic Eraser)의 자연스러운 진화 단계를 선보인 기능이다. 매직 이레이저는 사진 배경에 담긴 소화전이나 인물 등 원하지 않는 피사체를 삭제할 수 있는 기능이다. 매직 에디터는 사진 전체를 새로운 수준으로 왜곡할 수 있는 기능이다.

구글은 픽셀 8 시리즈 사진 기능 시연 현장에서 해변을 달리는 소녀의 모습을 촬영한 사진 한 장을 보여주었다. 구글 대변인이 구글 포토 앱의 매직 에디터를 실행하여 사진 속 피사체를 누르자 선택한 피사체가 정확히 삭제되었다. 사진 속 피사체 무엇이든 옮길 수도 있으며, 제거한 피사체가 있던 공간은 실제 배경으로 추정되는 모습으로 채울 수도 있다. 물론, 시연 현장에서 보여준 사진은 구글이 선택한 사진이다. 하지만 매직 에디터는 피사체를 제거한 공간을 매우 정확하게 채웠다.

매직 에디터는 사진 조명 변경 옵션도 실행할 수 있다. 햇빛이 강렬한 정오에 사진을 찍었다면, 따뜻한 느낌의 멋진 초저녁 사진으로 바꿀 수 있다. 심지어 해 질 녘으로 배경을 바꿀 수도 있다.

구글은 운동장에서 농구공을 던지는 아이 사진도 보여주었다. 구글 대변인은 사진 속 피사체인 소년을 선택하고는 공중으로 위치를 바꾸어 덩크슛을 하는 듯한 장면을 연출했다. 그리고 “그림자 위치도 바꿀 수 있다”라고 말했다.

2022년, 필자는 MIT 미디어 랩(MIT Media Lab) 부교수 라메쉬 라쉬카(Ramesh Raskar)와 컴퓨터 사진과 디지털 사진 변경을 주제로 이야기했다. 이제 라쉬카 부교수의 설명을 정확히 이해할 수 있다. 라쉬카 부교수 ”기업은 소비자 대부분 사진 촬영 시 실물을 담은 사진인가를 떠나 버튼 하나만 눌러서 볼 수 있는 사진을 얻고자 한다고 추측한다”라고 말했다. 이어서 파리 여행 도중 촬영한 에펠탑 사진이 안개 때문에 흐릿하게 보이는 상황을 예시로 언급하며, “가족과 함께 촬영하고자 하는 사진은 화창한 날 촬영한 것처럼 보이는 에펠탑의 모습이다. 만약, 밝고 화창한 날의 에펠탑 모습을 가족사진 뒤에 붙여 넣을 수 있다면, 많은 사용자가 만족할 것이다”라고 설명했다.

이제 매직 에디터로 라쉬카 부교수가 언급한 작업을 손쉽게 처리할 수 있다. 또한, 2023년 내내 널리 유포된 AI 도널드 트럼프 합성 사진과 달리 실제 배경을 약간 변경한 왜곡된 사진을 접할 수 있을 것이다. 간혹 실물을 담은 사진을 원하는 이들도 있을 것이다. 구글은 메타데이터로 매직 에디터 기능 사용 여부를 확인할 수 있다고 말했다. 그러나 사진에서 메타데이터를 손쉽게 제거할 수 있어, 메타데이터를 이용한 매직 에디터 기능 적용 확인 효과를 확실히 말할 수 없다.
 
베스트 테이크
누구나 카메라가 아닌 다른 곳을 응시하거나 눈을 감은 상태로 사진을 찍은 적이 있을 것이다. 베스트 테이크(Best Take) 기능은 활동적인 아이를 둔 부모가 자녀 사진을 촬영할 때 한숨 돌릴 수 있도록 돕는다. (어쩌면 약간의 충격을 줄 수도 있을 것이다.)

대다수 스마트폰 사진은 다양한 노출 조건에서 사진 여러 장을 촬영한다. 이를 활용하여 다양한 조명 조건에서 사진을 훌륭한 수준으로 노출할 수 있다. 의도치 않게 눈을 감은 채로 촬영한 사진을 개선할 방법으로 구글이 제시한 해결책은 셔터 버튼을 누른 뒤 연속으로 촬영한 사진의 프레임을 제공하면서 사진 속 인물이 눈을 떴을 때의 모습으로 대체한다.

구글이 몇 년 전 도입한 탑샷(Top Shot) 기능과 비슷하다. 탑샷은 사용자가 셔터 버튼을 누를 때 연속으로 촬영한 사진 중 더 나은 것으로 보이는 프레임을 제공한다. 다만, 베스트 테이크는 몇 초 사이에 촬영한 사진 최대 6장에서 프레임을 제공한다. 연속으로 사진 여러 장을 촬영한다면, 누구나 손쉽게 사용할 수 있는 기능이다.

필자는 구글 대변인이 인물 사진을 선택하고, 최근 이미지와 다른 프레임에 담긴 인물 사진 여러 장을 전환하는 모습을 보았다. 직접 원하는 얼굴 사진을 선택해서 완벽한 그룹 사진을 완성할 수 있다. 구글은 베스트 테이크 기능이 표정을 생성하는 것이 아니라 기기 내 안면 인식 알고리즘을 사용해 이미지가 일치하도록 배치하는 것이라는 점을 확신시켜주었다. (구글 포토에는 익숙한 얼굴 인식 기능이 이미 적용되었다.)
 
오디오 매직 이레이저
매직 이레이저는 사진 속 배경 중 원하지 않는 피사체를 제거하는 기능이다. 이제 픽셀 8 시리즈는 원하지 않는 소리를 제거하는 기능인 오디오 매직 이레이저(Audio Magic Eraser) 기능도 제공한다.

필자는 시연 당시 공원에서 첼로 연주 소리가 들리는 영상을 접했다. 영상 중간에 먼 곳에서 들리는 사이렌 소리가 들렸다. (뉴욕시에서는 흔한 일이다.) 오디오 매직 이레이저로 영상을 편집하고, 사이렌 주파수를 완벽히 제거하도록 소리를 분리할 수 있다. 편집을 마친 영상으로는 첼로 소리만 들을 수 있다. 매우 놀라운 기능이다. 반대로 첼로 연주 소리를 제거하고, 사이렌 소리만 남겨둘 수도 있다.

구글은 오디오 매직 이레이저 기능의 시스템이 머신러닝으로 ‘사이렌’, ‘동물’, ‘군중 소리’ 등 일반적인 소음 최대 5가지를 식별할 수 있다고 설명했다. 항상 완벽하게 실행되는 것은 아니다. 필자는 시연 현장에서 오디오 매직 이레이저 기능 테스트 목적으로 해변에서 누군가가 흥얼거리는 소리가 들리는 영상의 소음을 제거하려 했다. 그러나 영상 편집 후에도 계속 흥얼거리는 소리가 계속 들렸다.

비디오 부스트
비디오 부스트(Video Boost) 기능은 다른 기능보다는 소름끼치지 않고, 인상적이다. 비디오 부스트는 픽셀 8 프로에만 단독으로 적용된 기능이다. 저조도 모드로 영상을 촬영할 때나 활동이 많을 때 화면을 전환하면서 사용할 수 있다.

30fps로 최대 4K 영상 복사본을 구글 클라우드로 전송하여 영상 처리 과정을 거친다. 영상 처리 과정에서 손 떨림 보정 기능과 선명도 업그레이드, 노이즈 감소 수준이 크게 개선된다. 이후 개선된 영상을 사용자 기기로 다시 전송한다. 영상 분량에 따라 영상 처리 과정은 최소 몇 분이 걸릴 수도 있고, 혹은 밤새 영상 처리 과정이 진행될 수도 있다.

구글 픽셀 8 프로의 비디오 부스트 기능을 적용한 영상은 아이폰14 프로 영상과 비교했을 때 매우 훌륭했다. 저조도 환경에서 아이폰14 프로와 비슷하게 촬영한 구글 픽셀 8 프로 영상의 선명도와 밝기, 색 선명도, 손 떨림 보정 수준 모두 훨씬 더 뛰어났다. 비디오 부스트 기능 실행 과정을 더 자세히 살펴본다면 흥미롭겠지만, 출시 시점까지는 자세히 살펴볼 수 없다.

재차 언급하자면, 앞서 언급한 기능 모두 지금 당장 다른 툴로는 실행할 수 없는 기능이다. 구글이 새로 선보인 기능을 별도의 기술적 지식이 없어도 누구나 활용하고 접근할 수 있는 상황이 되려면, 구글의 최신 스마트폰인 픽셀 8 시리즈를 구매해야 한다. 구글 픽셀 8 시리즈에 추가된 사진 기능 이외에도 구글은 AI 기능을 여럿 선보였다. 바드를 통합한 구글 어시스턴트 업그레이드 사항으로도 구글이 새로 선보이는 AI 기능을 살펴볼 수 있다.

** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)

<기사원문>
The New AI Photo Tricks on the Pixel 8 Are Blowing My Mind