11월초 소셜미디어 상에 애플카드 알고리즘에 의한 신용한도 성차별 소식이 전해지면서 인공지능(AI)도 어떠한 편견을 가질 수 있다는 가능성이 제기됐다. 실제 브루킹스연구소(The Brookings Institution)는 지난 5월 발간한 '알고리즘 편향 검출과 완화' 보고서를 통해 의도하지 않은  편향이 알고리즘 속에 잠입돼 있을 지 모른다는 사실을 알렸다.

스스로 학습할 수 있는 AI에 무슨 일이 생긴 것인지 궁금하다. 이번 애플카드 사례 보다 더 무서운 진실은 AI 학습체계에 미묘한 수정을 가하면 그 알고리즘이 인류에 해로운 방식으로 진화할 수 있다는 점이다. 특정 번호판에 반응해 도로를 이탈하는 자율주행차, 특정 범죄자를 외면하는 감시카메라, 적보다는 아군에게 발포하는 AI무기를 떠올리면 된다. 웬 카오 리(Wenchao Li ) 보스턴대학 조교수는 "이 유형에서 보듯 의도된 백도어는 알고리즘을 직접 제어할 수 있는 능력을 가진다"고 경고했다.

문제는 딥러닝 알고리즘은 너무 복잡하고 정밀해 의도하지 않은 실수라고 해도 개발자 조차 오류를 알아차리기 어렵다는 점이다. 잘못된 알고리즘 반응을 유도하는 예로, 작은 회색 픽셀을 화면 한 구석에 임의로 심고 게임 속 등장인물이 오른쪽으로 이동할 때마다 점수가 뛰도록 하면 어떤 일이 발생할까. 알고리즘은 패치가 나타날 때마다 오른쪽으로 이동해 점수를 높이는 쪽으로 학습하게 된다. 이 때 편향이 발생한다.

이러한 위협은 특정기업이나 한 국가의 안보체계를 강제할 수 있다는 점에서 우려가 깊다. 한국 역시 많은 기업이 IBM의 인공지능을 사용 중이지만 어떤 알고리즘 체계를 가지고 있으며 어떠한 패턴으로 딥 러닝을 수행하는지 잘 알지 못한다. 실제 쇼핑몰 내에 인공지능 안내원을 배치했다는 기업의 한 홍보 임원은 "파견직원이 10개월 간 상주하면서 완성한 알고리즘이라는 설명이 자신이 알고 있는 모든 것"이라고 말했다. 그들은 인공지능 안내원과 상품가입용 AI앱을 도입했다는 장문의 보도자료를 보내왔으나 그것의 정체에 대해서는 전혀 관심이 없어 보였다.

이 업체가 보유한 AI 알고리즘이 상품을 안내한다고 가정해 보자. 만일 나이ㆍ성별ㆍ직업ㆍ국적에 대한 편견을 지니고, 특정 상품 추천을 꺼리는 쪽으로 학습했다면 마케팅은 실패할 수밖에 없다. 이후에 알고리즘 오류가 발견된다면 다행이겠지만 그 사실을 인지하지 못할 가능성이 높다. 대부분 기업은 AI도 어떤 오류나 편견을 가질 수 있다는 사실을 인지하지 못한 채 자사가 보유한 알고리즘 기능 홍보에만 열을 올리고 있다. 애플카드 알고리즘 오류와 같은 이슈가 한국에서도 발생할 수 있는 이유는 이 때문이다. 애플 직원들 누구도 애플카드 알고리즘이 가진 남녀차별 성향의 이유를 설명하지 못하고 있다. 

인공지능이 편견을 가질 가능성은 잘못된 학습이 원인일 수 있고 엔지니어에 의해 의도적으로 생길 수 있다. 그 결과물이 건전하지 못하다면 인공지능 과학에 대한 부정적 인식이 확산될 수밖에 없을 것이다. 온라인 가짜뉴스 공방이 유사한 예이다. 비슷한 속성을 연결짓는 소셜미디어 알고리즘의 특성을 이용해 각 진영은 더 강하고 선동적인 메시지를 지지자 집단에 살포 중이다. 그 결과 사실관계나 진실에 대한 관심은 뒷전이고 정치적 동류 집단만 교류하는 양극화가 한국 정치지형에 자리했다. 유튜브 영상물을 추천하는 알고리즘에 의해 지배받는 사회라는 지적도 일리 있어 보인다. 

알고리즘이 '책임'(algorithmic accountability)이어야 하는 이유는 이 때문이다. 잘못된 편견이나 기술이 미칠 사회적 파장을 고려한다면 AI를 자유롭게 놓아 두기보다는 '책임감'이라는 올가미로 묶어두는 편이 더 안심이 되는 요즘이다.