"대출도 남녀차별이 있다."

지난 6월 한 여성 커뮤니티에 올라온 글은 청와대 청원으로 이어졌다. 내용인 즉 현재 중소기업청년전월세 대출 조건이 남자는 만 39세까지 유효한 반면 여성은 만 34세로 제한돼 있다는 것이다. 이 청원글은 게시 1주일만에 3만명이 넘는 동의 글을 끌어냈다.

이 사례는 사람이 만든 제도에 의한 차별이다. 그런데 AI(인공지능)가 당신을 차별한다면 어떤 생각이 들까. 최근 애플이 대형 투자사 골드만삭스와 손잡고 출시한 디지털 신용카드 '애플카드'(Apple Card)가 성차별 논란의 중심에 섰다. 남성보다 여성에게 더 작은 신용 한도를 제공했다는 주장 때문이다.

11월초 소셜미디어 상에는 애플카드의 신용한도에 대한 성차별을 성토하는 게시글이 잇따라 올라오며 비판을 샀다. "바보같은 성차별주의자", "속아 넘어갔네" 

이 '바보같은'의 대상이 바로 애플 AI알고리즘이다. 심지어 애플의 공동창업자인 스티브 워즈니악도 "그 알고리즘이 어떤 여성혐오적 경향을 담고 있는 것이 아닌지 심각하게 받아들여야 한다"고 지적한 상태다.

애플카드 발행사인 골드만삭스는 제3자에 의해 알고리즘이 어떤 성별적 편향이 있는지에 대해 이미 검증을 했으며, 게다가 성별 항목은 존재하지 않는다고 스스로 변론했다.
 

그렇다면 고객이 여성인지 남성인지 밝히지 않은 상황에서 어떻게 차별이 가능했을까?

우선, 알고리즘이 해당 변수에 대해 '블라인드'로 처리 된 경우에도 성별 구별이 가능했을 것이라는 분석이다. 알고리즘이 성별과 연관되는 모든 입력이나 부가적 정보에 의존한다면 여성에 대한 편견을 갖게 될 수 있다고 봤다.

AI분야 전문가인 라셀 토마스(Rachel Thomas) 샌프란시스코 대학 교수는 정보 입력을 제거하는 것이 편견을 버리게 한다는 생각은 위험한 발상이라고 경고하고 있다. 그는 "이것이 고객에 대해 중요한 결정을 내릴 때 마다 알고리즘에 의존하게 된다"고 지적했다.

이같은 알고리즘 오류 사례는 애플카드 외에도 곳곳서 발견된다. 아마존의 채용 알고리즘이 성별간 편견을 가졌고, 구글의 인종차별적인 자동구문 완성, 여성보다 남성(특히 백인)을 더 잘인식하는 IBM과 Microsoft의 안면인식 기술에서도 드러났다. 이것이 의미하는 바는 알고리즘에 어떤 식으로든 편향이 스며들지 않도록 세심하게 관찰해야 한다는 사실이다. 

토마스 교수는 "사실 회사들은 그들의 알고리즘이 편견을 갖지 않도록 하기 위해 성이나 인종과 같은 보호속성을 더욱 적극적으로 측정해야 한다"고 말했다.

브루킹스연구소(The Brookings Institution)는 지난 5월 발간한 '알고리즘 편향 검출과 완화' 보고서를 통해 "의도하지 않은 편향이 있는지 알고리즘을 모니터링하기 위해 전문가를 고용할 것"을 권고했다.  하지만 이 모니터링도 피험자의 성별을 알지 못하면 테스트 진행이 어렵다는 맹점이 있다. 

보고서의 공동저자인 폴 레스닉은 "현재 금융회사가 성별이나 인종과 같은 신상정보를 알고리즘 의사결정에 사용한 것을 금지한 것이 오히려 문제를 키웠다고 볼 수 있다"면서 "이러한 기업들이 애초에 이러한 중요한 정보를 수집하는 것을 단념시킴으로써 문제를 더 악화시킬 수도 있다"고 말했다.