A bias bounty for AI will help to catch unfair algorithms faster

AI 편향성 극복 위해 전문가들이 나섰다

AI 커뮤니티는 이번 대회를 통해 인공지능 시스템의 윤리성을 강화하기 위한 기반을 마련하고자 한다.

오늘날 인공지능(AI)은 언제 어디서든 사용되고 있다. 하지만 사용되고 있는 AI의 편향성을 식별하는 데에는 짧게는 수개월부터 길게는 수년까지의 상당한 시간이 소요된다.

AI 편향성 문제로 인한 위험성은 심각한 수준이다. 불공정한 AI 때문에 무고한 사람이 부당하게 체포당하고, 편향된 신용 평가 알고리즘 때문에 사회 취약층이 거처 마련이나 취업에 지장을 겪는 등 기본적인 공공 혜택으로부터 소외된 사례가 등장하고 있다.

최근 일부 AI 및 기계학습 전문가들이 모여 AI 편향성을 새로 평가해 보는 ‘바이어스바운티 대회(bias bounties competition)’를 개최하고 있다. 대회 관계자들은 이 대회를 계기로 알고리즘에 내재한 편견이 한시라도 빨리 교정될 수 있길 바라고 있다.

이 대회는 10월 20일부터 11월 30일까지 20여 일 동안 열린다.

바이어스 바운티 대회는 사이버보안 취약점을 발견해 신고하면 포상을 주는 ‘버그바운티(bug bounties)’로부터 영감을 받아 개최되는 것이다. 참가자들은 이 대회를 통해 AI 알고리즘의 편향을 발견하고 개선하기 위한 도구를 개발에 뛰어들 예정이다

대회를 주최한 자원봉사자들은 주로 트위터, 소프트웨어 회사 ‘스플렁크(Splunk)’, 딥페이크 탐지 관련 스타트업인 ‘리얼리티 디펜더(Reality Defender)’ 같은 회사에 소속돼 있다. 그들은 자신들이 편향성을 잡는 해적인 ‘바이어스 버커니어(Bias Buccaneers)’임을 내세우고 있다.

이번 바이어스바운티 대회의 주제는 편향된 이미지 감지다. 과거 불완전한 이미지 감지 시스템이 흑인을 고릴라로 잘못 식별하기도 하는 등 이런 문제는 흔하게 발견된다.

대회 참가자들은 각각의 이미지에서 피부색, 이미지 속 당사자가 스스로 인식하는 성별, 연령을 자동으로 인식하는 기계학습 모델을 구축해야 한다. 이와 같은 항목들을 인식하도록 하면 편향성을 더 쉽게 측정하고 발견할 수 있다. 이들 AI에는 합성으로 생성된 약 1만 5,000개의 인간 얼굴 데이터세트가 제시되며, 대회에서는 이를 얼마나 정확하게 분류하는지, 코드 실행 시간은 얼마나 짧은지 등을 평가한다.

마이크로소프트와 스타트업인 ‘로버스트 인텔리전스(Robust Intelligence)’는 우승자에게 6,000달러(약 851만 원), 2위와 3위에 각각 4,000달러와 2,000달러의 상금을 수여하기로 약속했다. 아마존은 연산력이 뛰어난 참가자들에게 5,000달의 상금을 주기로 했다.

이 대회는 AI 분야에서 새롭게 부상하고 있는 산업인 ‘알고리즘 편향성 평가’의 사례이기도 하다. 트위터는 이미 지난해 AI 바이어스바운티를 개최한 바 있으며, 스탠퍼드 대학은 최근 첫 번째 AI 편향성 평가를 마쳤다. 한편 비영리 조직 ‘모질라(Mozilla)’는 AI 평가를 위한 툴을 개발하고 있다.

이러한 편향성 평가는 점점 더 많아질 것이다. 규제 기관 및 AI 윤리 전문가들은 AI 편향성 평가를 도입하면 AI의 사회적 책임을 유지하는 데 도움이 될 것이라며 환영의 뜻을 보였다. 특정 지역에서는 AI 편향성 평가를 의무화하는 방안도 검토 중이다.

최근 유럽연합(EU)은 온라인상의 편파적 발언 및 유해 콘텐츠를 차단하는 ‘디지털 서비스법(Digital Services)’을 의회에서 통과시켰다. 이 법안은 거대 기술 플랫폼에서 사용하는 데이터 및 알고리즘의 연례 평가를 의무화하는 내용이 포함되어 있다. 조만간 EU에서 도입하려고 하는 AI 법 또한 AI 시스템에 대한 당국의 평가 권한을 도입할 예정이다. 미국 국립 표준 기술 연구소(US National Institute of Standards and Technology)도 AI 평가를 표준 지침으로 권장하고 있다. 미국 싱크탱크 브루킹스연구소(Brookings Institution)에서 AI 거버넌스를 연구하는 알렉스 잉글러(Alex Engler)는 이러한 정기적 평가가 화학 공장 등 고위험 분야에서 이미 실시되고 있는 정기 점검과 같은 역할을 할 수 있을 것이라고 말했다.

하지만 지난 6월 AI의 사회적 책임(AI accountability) 분야를 연구하는 드보라 라지(Deborah Raji)와 동료들의 발표한 논문에 따르면 알고리즘 편향성 평가에 대한 수요가 급증하고 있지만 아직 이러한 평가를 제공하는 기업의 숫자는 충분하지 않다고 한다. 또한 일부 기업들은 평가를 위하여 자신들의 알고리즘에 접근 권한을 제공하는 것에 대해서도 난색을 보이고 있다.

이번 대회가 해결하고자 하는 문제가 바로 이 부분이다. AI 커뮤니티는 이번 기회를 통해 더 많은 엔지니어와 연구원, 전문가들이 이러한 평가를 수행하기 위한 기술을 개발하고 경험을 쌓을 수 있기를 희망하고 있다.

지금까지 AI를 대상으로 한 조사는 대부분 학계나 기술 회사 내부에서 수행된 제한된 조사에 그쳤다. 이번 대회는 AI 평가에 전문성을 갖는 특수 인력을 육성하는 것이 목표다.

루맨 차우드허리(Rumman Chowdhury) 트위터 AI 윤리팀 책임자는 “이러한 종류의 일에 관심 있는 사람, 이를 시작하려고 하는 사람, 기술 회사에 소속되지 않은 전문가들을 위해 기존의 거대 기업들로부터 독립된 새로운 공간을 조성하기 위해 노력하고 있다”며 “로운 기술을 배우고자 하는 해커나 데이터과학자들이 이 분야에 적절할 것”이라고 말했다.

바이어스 버커니어를 지원하는 단체들은 이 대회 이후에도 비슷한 기회가 계속해서 이어지길 바란다.

비영리 AI 연구소인 ‘코히어(Cohere for AI)’를 이끄는 사라 후커(Sara Hooker)는 “이와 같은 대회를 통해 기계학습 커뮤니티가 앞으로 더 적극적으로 AI 평가를 수행하게 될 뿐만 아니라 어떠한 AI를 대상으로 어떠한 방식으로 평가를 진행하는 것이 가장 적절할지에 대해서도 알 수 있게 될 것”이라고 말했다.

스탠퍼드 AI 감사 챌린지 심사위원이었던 아비섹 굽타(Abhishek Gupta)는 이번 대회를 두고 “그동안 꼭 필요했던 환상적인 일”이라며 “시스템에 대한 감시의 눈길이 많아질수록 결함을 발견할 가능성이 커진다”고 덧붙였다.

미리보기 2회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.