2020년 가을, 캐나다 학생인 콜린 매드랜드(Colin Madland)는 트위터의 자동 크롭 알고리즘이 트위터에 게재할 사진에서 계속 자신보다 피부색이 어두운 친구가 아닌 자신의 얼굴을 선택한다는 점을 알아차렸다. 이 사건은 갑자기 많은 트위터 사용자가 평소와 달리 길게 사진을 올려 인공지능(AI)이 흑인보다 백인의 얼굴을 선택하는지, 혹은 여성의 얼굴보다 가슴에 더 초점을 맞추는지 확인하려 하자 편향성이라는 비난이 촉발되었다.
당시 트위터 대변인은 2018년, 알고리즘을 운영하기에 앞서 평가를 진행했으며, 결과적으로 인종 혹은 성차별 증거를 발견하지 못했다고 주장했다. 이제, 지금까지 이루어진 최대 규모 AI 분석과 함께 트위터 대변인의 주장과 반대되는 증거가 발견되었다. 트위터 알고리즘이 흑인보다 백인을 선호하는 것으로 확인됐다. 또, AI가 사진에서 가장 흥미로운 부분을 고를 때, 여성의 신체를 얼굴보다 더 집중적으로 보지 않는다는 사실도 입증됐다.
트위터와 연구원 비냐 브라부(Vinay Prabhu)가 진행한 테스트는 수백 개 이하의 사진이 포함된 채로 진행됐다. 5월 19일(현지 시각), 트위터 연구를 통해 공개된 분석 결과는 다양한 인구 집단에 해당하는 인물의 모습을 담은 사진 10,000장을 기반으로 알고리즘의 편향 문제를 평가했다.
연구팀은 알고리즘이 두 인구 집단의 사진을 볼 때, 편견 문제를 일으킨다는 사실을 발견했다. 결과적으로 알고리즘은 두 인구 집단에 해당하는 다른 인물 중, 트위터 타임라인에 공개될 한 명의 사진을 택한다. 그리고, 일부 집단은 다른 집단보다 플랫폼에 더 나은 모습으로 나타난다. 연구팀이 트위터 시스템에 흑인 남성과 백인 여성의 사진을 추가하자 알고리즘이 백인 여성의 모습을 타임라인에 드러낼 확률은 64%, 흑인 남성의 사진을 보여줄 확률은 36%로 확인됐다. 백인 여성과 흑인 남성의 선호도 격차는 연구팀의 분석에 포함된 모든 인구 집단 간 격차가 가장 큰 것으로 확인됐다. 백인 여성과 백인 남성의 사진을 함께 두었을 때, 알고리즘이 여성 이미지를 보여줄 확률은 62%였다. 또, 백인 여성과 흑인 여성의 사진을 동시에 보여주었을 때, 알고리즘이 항상 백인 여성의 이미지를 보여줄 확률은 57%였다.
[사진=Unsplash]
5월 5일(현지 시각), 트위터 측은 트위터 스마트폰 앱을 사용해 게재되는 사진 단 한 장에도 이미지 크롭 기능이 적용되지 않도록 알고리즘을 제거했다. 이는 2020년 가을, 알고리즘 관련 논란이 갑자기 심각한 수준으로 제기되면서 트위터 최고 디자인 관리자인 댄틀리 데이비스(Dantley Davis)가 옹호한 접근 방식이다. 알고리즘 변화와 함께 많은 사용자가 긴 사진을 게재하고는 전체 내용을 보기 위해 긴 이미지가 포함된 놀라운 트위터 게시글을 별도로 열어볼 필요가 없음을 시사했다.
이른바 부각 알고리즘은 여전히 트위터 웹사이트에서 사용되며, 다양한 이미지가 포함된 트위터 게시글의 사진 크롭과 이미지 섬네일 생성 기능도 그대로 사용된다. 트위터 대변인은 지나치게 길거나 넓은 사진은 사진의 중앙 지점을 기준으로 잘리게 될 것이며, 트위터는 웹사이트에서도 알고리즘 사용을 종료하고자 한다고 밝혔다. 부각 알고리즘은 사용자가 이미지를 볼 때, 주로 보는 것을 추적하면서 훈련받는다.
안타깝게도 컴퓨터 비전 시스템의 성차별과 인종 차별 관련 비난은 꽤 보편적인 일이다. 최근, 구글은 안드로이드 카메라가 피부색이 어두운 사용자의 모습을 처리하는 방식을 개선하기 위한 노력을 상세히 설명했다. 독일 자동화 결정 시스템 분석 기관 알고리즘 워치(Algorithm Watch)는 아이폰에 적용된 이미지 라벨 작업을 하는 AI가 만화 속에 등장하는 어두운 피부색을 지닌 사람을 동물로 분류했다는 사실을 확인했다. 이와 관련, 애플 대변인은 답변을 거부했다.
공정성 측정 결과를 떠나 트위터 연구팀은 알고리즘의 판단이 사용자의 선택권을 줄이면서 특히 소외 집단을 대상으로 대대적인 영향을 지닌다고 말한다.
트위터 연구팀은 새로 공개된 연구에서 사진 크롭 알고리즘이 여성의 얼굴보다 신체를 더 선호한다는 증거를 찾지 못했다고 밝혔다. 연구팀은 알고리즘이 여성의 얼굴보다 신체를 선호하는가 확인하기 위해 여성으로 분류된 사진 100장을 알고리즘에 임의로 투입했다. 이후, 얼굴보다 신체를 더 중점적으로 둔 사진은 단 3장임을 확인했다. 연구팀은 해당 이미지 3장이 얼굴보다 신체에 더 초점을 맞춘 이유가 사진 속 인물이 착용한 의상의 배지나 저지 번호 때문이라고 설명했다. 또, 연구팀은 연구를 위해 위키데이터(Wikidata)에서 촬영한 사진의 신원 특성을 담은 위키셀럽(WikiCeleb) 데이터세트에 등록된 사진을 사용했다.
트위터 측이 게재한 논문은 흑인이나 백인, 남성, 여성 비교 결과 분석으로 범위가 제한돼, 제3의 성 정체성을 지닌 인물이나 혼혈인 인물의 이미지 분석 결과는 배제되었을 수 있음을 인정한다. 연구팀은 성별 편견과 관련된 젠더 쉐이즈(Gender Shades) 데이터세트를 사용해, 피부톤에 따른 안면 인식 시스템의 인물 식별 정도를 평가하기를 원했지만, 라이선스 문제가 있었다고 밝혔다.
트위터는 논문 정식 발표 예고를 보고하는 웹사이트 arXiv에 연구 결과를 게재했다. 트위터 대변인은 2021년 10월에 열릴 연구 콘퍼런스에 이미 논문을 제출했다고 말했다.
트위터 연구팀 소속 과학자는 분석 결과로 확인한 인종 편견이 위키셀럽의 데이터베이스에 포함된 이미지 다수의 배경이 어둡기 때문에 부각 알고리즘이 어두운 배경 대비 밝은 피부색을 지닌 인물의 색상 대비가 더 높은 것으로 나타냈기 때문일 수 있기 때문이라고 설명한다. 또한, 밝은 피부에 눈동자 색이 어두울수록 알고리즘이 밝은 피부를 지닌 사람을 더 선호하는 역할을 한다고 설명했다.
트위터의 연구 논문 공동 저자는 2021년 4월에 설립된 트위터 머신러닝 윤리, 투명성 및 책임(META) 팀 구성원이다. 알고리즘 감사 스타트업 파리티(Parity)의 창립자이자 전직 테크 기업 및 정부 부처 보좌관을 역임한 루만 쵸드휴리(Rumman Chowdhury)가 연구팀을 지휘한다.
4월 14일(현지 시각), 트위터는 블로그 게시글을 통해 트위터의 알고리즘 사용 책임을 지고, 수억 명에게 영향을 미치는 AI 관련 내부 의사결정의 투명성을 제공하면서 트위터가 책임감을 질 수 있는 팀을 구성했다고 밝혔다. META 팀의 운영방식 관련 몇 가지 의문점은 남아있다. 그 대표적인 의문점은 최종 결정을 하는 이가 누구인지, 그리고 트위터의 특정 유형의 AI 사용 여부 등이 있다.
트위터 대변인은 교차 기능팀이 알고리즘의 행동을 결정하지만, AI가 사용하기 부당한 것으로 보일 때는 문제를 다루지 않았다고 밝혔다.
향후 몇 개월간 META는 트위터 홈페이지 추천 알고리즘이 특정 인종 집단을 다루는 방식, 트위터의 AI가 정치적 이념에 따라 사용자를 대하는 방식 등을 평가할 계획이다.
META 팀은 기업 환경에서 윤리 AI 팀의 독립성과 성공적인 업무 수행 능력을 둘러싼 의문이 제기된 상황에서 등장했다. 2020년 12월, 전직 구글 윤리 AI 팀 총괄 팀닛 게브루가 구글을 떠나게 된 문제를 두고 여러 AI 단체가 자금 지원을 거부하고, 구글 직원 수천 명이 반대의 목소리를 낸 이후 이루어진 움직임이다. 이후, 쵸드휴리는 인터뷰를 통해 구글이 팀닛 게브루를 해고한 사건은 책임감 있는 AI와 AI 업계 전체에 파장을 불러일으킨다고 말했다.
쵸드휴리가 2021년 초에 지적한 바와 같이 알고리즘 감사를 정의할 방법은 많다. 트위터의 부각 알고리즘 연구에는 다음의 사항이 포함되지 않았다. 바로 트위터의 알고리즘 훈련에 사용된 데이터 혹은 부각 알고리즘 사용 전, 트위터가 진행한 상세 분석 정보 분석이다.
트위터의 부각 알고리즘 관련 논란이 정책을 어떤 방향으로 바뀌도록 했는지 묻자, 트위터 대변인은 프라이버시 및 보안 관련 위험 평가를 수행하며, META 팀은 트위터의 알고리즘 모델 실험 플랫폼에 적용할 공정한 척도와 알고리즘 윤리적 검토 표준을 생성한다고 답변했다.
** 위 기사는 와이어드US(WIRED.com)에 게재된 것을 와이어드코리아(WIRED.kr)가 번역한 것입니다. (번역 : 고다솔 에디터)
![[사진=Unsplash]](/news/photo/202105/3143_4170_1040.jpeg)
뉴스레터 신청