Evolving to a more equitable AI

편향성 없는 AI 만들기 위한 숙제

AI는 팬데믹 이후 정상을 회복하기 위한 강력한 도구가 될 수 있다. 단, AI 도입과 사용이 모든 이에게 공정하게 이루어져야 할 것이다.

이 기사는 세일즈포스(Salesforce)와 제휴해 작성되었습니다.

지난 한 해 동안 전 세계를 휩쓴 코로나19는 엄혹한 현실의 여러 단면을 있는 그대로 보여주었다. 팬데믹 대응 역량의 차이, 보건과 기술, 과학에 대해 개별 집단이 보여준 태도, 심각한 경제적, 사회적 불평등이 그것이다. 세계가 여전히 코로나19 위기에서 벗어나기 위해 노력하는 가운데, 또 일부 지역은 회사와 학교의 문을 열고 여행과 여가 활동을 점진적으로 재개하는 가운데, 공중보건의 공정성 확립과 프라이버시 보장이라는 서로 대립하는 과제를 해결하는 것이 중요한 일이 되었다.

위기의 장기화로 직장과 사회에서의 행동이 빠른 속도로 변화하고 기술에 대한 의존도도 높아졌다. 이제 기업과 정부, 사회가 기술을 적용하고 개인정보를 취급할 때 주의를 기울이는 것이 그 어느 때보다 중요한 시대가 되었다. 적응형 기술(Adaptive technologies)이 잠재적으로 위험하거나 불공정한 방식으로 우리 생활과 사회제도에 스며드는 경향이 크다는 것이 인공지능의 급속한 도입과 확산 과정에서 입증되었기 때문이다.

“팬데믹이 종료되면 우리와 기술의 관계가 총체적으로 달라져 있을 것”이라고 세일즈포스의 윤리적 AI 책임자 요아브 쉴레진저(Yoav Schlesinger)는 말한다. “사람과 기업, 정부, 기술이 협상을 하게 될 것이다. 데이터에 관한 새로운 사회계약의 틀에서 이들 당사자 간 데이터 이동 방식을 둘러싼 협상이 다시 전개될 것이다.”

현장에서 활용되는 AI

2020년 초 코로나19 위기가 시작되자 과학자들은 의료용으로 AI를 활용할 방안을 다양하게 고민했다. 잠재적 백신 또는 치료제 후보물질을 찾고, 잠재적 코로나19 증상 탐지를 지원하고, 중환자실 병상, 산소호흡기 등 희소한 의료자원의 배분에 AI를 활용하는 방법을 생각했다. 특히 최첨단 백신 및 치료제를 개발하기 위해 AI 시스템이 가진 분석 능력에 의존했다.

최첨단 데이터 분석 도구는 방대한 양의 데이터에서 유의미한 정보를 추출하는 데 도움이 될 수 있지만, 그 결과가 늘 더 공정한 것은 아니다. 오히려 AI 기반 도구와 이에 활용되는 데이터세트는 내재적 편향 즉, 구조적 불공정을 영속화 할 수도 있다. 팬데믹 기간 동안 미국 질병통제예방센터(CDC), 세계보건기구(WHO) 등의 조직은 방대한 데이터를 수집했다. 그런데 이 데이터가 흑인, 아시아인, 원주민 등 더 큰 피해를 입은 인구 집단을 반드시 정확하게 대변하는 것은 아니다. 또, 이들 조직이 만든 몇몇 최첨단 진단 도구들도 다르지 않다고 쉴레진저는 지적한다.

예를 들어, 핏빗, 애플워치 등 신체에 착용하는 생체계측 도구는 체온 변화, 산소포화도 변화 등 잠재적 코로나19 증상을 탐지할 수 있다고 광고한다. 그렇지만 이 같은 증상의 분석에 사용되는 데이터세트는 결함이 많거나 한계가 있으며, 분석 결과는 취약 계층에 특히 큰 피해를 주는 편향이나 불공정을 만들어낼 수 있다.

쉴레진저는 “피부색이 어두우면 LED의 녹색 빛이 맥박과 산소포화도를 잘 못 읽는다는 연구 결과가 있다”고 말한다. 그는 “따라서 코로나19 증상을 탐지하는 능력이 피부색이 어두운 이들에 대해서는 평등하게 발휘되지 않을 수도 있다”고 덧붙인다.

AI의 유용성은 대규모 데이터세트를 분석할 때 더 커진다. 서던 캘리포니아 대학교(University of Southern California, USC) 비테르비 공대(Viterbi School of Engineering) 연구팀은 코로나19 백신 후보물질 분석에 사용될 AI 프레임워크를 개발했다. 연구팀은 26개의 잠재 후보를 찾은 후 성공 가능성이 높은 11개의 후보를 추렸다. 분석에 사용된 데이터 출처 면역에피토프데이터베이스(Immune Epitope Database)에는 3,600종 이상에서 기원한 감염 결정자(contagion determinant)가 60만개 이상 포함되어 있다.

비테르비 공대의 또 다른 연구팀은 문화 코드를 더 정확하게 해석하고 인종 또는 민족 집단의 행동을 규율하는 사회적 규범에 대한 이해를 높이기 위해 AI를 활용한다. 이는 특정 집단이 이번 팬데믹 같은 위기가 닥쳤을 때, 바이러스의 확산을 촉진할 가능성이 있는 종교 의식과 전통, 기타 사회적 관습을 고려하여 위기에 대처하는 방식에 상당한 영향을 미칠 수 있다.

이 연구를 이끄는 크리스티나 리만(Kristina Lerman)과 프레드 모스태터(Fred Morstatter)는 도덕기반이론(Moral Foundations Theory)에 근거하여 연구를 진행하고 있다. 도덕기반이론은 배려 공정, 충성, 권위 등 한 문화의 도덕체계를 구성하는 ‘직관적 윤리’가 개인과 집단의 행동에 영향을 미친다는 이론이다.

모스태터는 USC가 발표한 보고서를 통해 “우리의 목표는 한 문화의 의사결정 과정을 추동하는 역학을 좀 더 깊은 수준에서 이해하기 위한 기반을 닦는 것”이라고 설명했다. “이를 통해 더 깊은 문화적 이해를 토대로 예측을 수행할 수 있다”고 덧붙였다.

이 연구에서는 공정하고 윤리적인 AI 도입 방법에 대해서도 검토한다. “다 그런 것은 아니지만, 대부분의 사람들이 더 살기 좋은 세상을 만드는 일에 관심이 있다”고 쉴레진저는 말한다. “이제 우리는 다음 단계로 나아가야 한다. 우리가 이루려는 목표는 무엇이고 우리가 얻으려는 결과는 무엇인가? 성공을 어떻게 측정해야 할까? 그리고 그 성공은 어떤 모습일까?”

윤리적 우려 완화하기

쉴레진저는 수집된 데이터와 AI 처리 과정에 대한 가정을 면밀히 검토하는 것이 필수라고 강조한다. 쉴레진저는 “우리는 자각(awareness)을 통한 공정성의 획득을 말한다. 데이터 처리의 모든 단계에서 우리는 결과가 특정한 방향으로 나오도록 하는 가치 판단 또는 가정을 한다”며 “그것이 윤리적 AI를 방해하는 근본적인 원인이다. 인간에 대한 편향이 존재하는 모든 지점을 검토하는 것은 어려운 일”이라고 부연한다.

그 같은 일 중 하나는 AI 훈련에 사용되는 데이터세트를 비판적으로 검토하는 것이다. 데이터의 출처와 구성을 이해하는 것이 필수다. 다음과 같은 질문에도 반드시 답해야 한다. 이 데이터는 무엇으로 구성되었나? 다양한 이해관계자가 데이터에 모두 포함되었나? 편향을 최소화하고 공정성을 극대화하기 위해 어떤 식으로 데이터를 모델에 투입해야 하나?

이제 사람들이 일터로 돌아가면 회사는 AI가 내장된 센서 장비들을 도입할 것이다. 열이 나는 사람을 찾아내는 열화상 카메라, 기침을 하거나 큰 목소리(비말 확산을 촉진한다)를 내는 사람을 찾아내는 오디오 장비, 손씻기, 물리적 거리두기, 마스크 착용 여부 등을 감시하는 비디오 장비 등이 대표적이다.

이 같은 감시·분석 시스템은 기술적 정확성의 문제 외에도 인권, 프라이버시, 보안, 신뢰 측면에서도 핵심적인 위험을 제기한다. 감시를 강화하려는 충동은 팬데믹의 부작용 중 특히 문제가 되었다. 정부 기관들은 코로나19에 감염되었거나 노출되었을 가능성이 있는 사람들의 이동을 추적하고 바이러스의 전파 경로를 파악하기 위해 감시카메라로 찍은 영상과 스마트폰 위치추적 데이터, 신용카드 결제 기록을 사용하고 심지어 공항 등 붐비는 공공장소에서는 패시브 방식 체온 측정기까지 동원했다.

“가장 먼저 해야 할 질문은 ‘이것을 할 수 있나?’가 아니라 ‘이것을 해야 하나?’이다’라고 쉴레진저는 말한다. “동의도 받지 않고 스캐닝으로 개인의 생체 정보를 수집하는 것은 윤리적 우려를 낳는다. 공공의 선에 도움이 된다 하더라도 그렇다. 과연 이런 기술들을 도입해야 할 이유가 충분한지에 대해 먼저 활발한 사회적 대화가 이루어져야 한다.”

미래의 모습은?

우리 사회가 정상에 가까운 어떤 모습으로 돌아가는 상황에서 이제 데이터와의 관계를 근본적으로 재평가하고, 데이터 수집은 물론 적절한 사용과 잠재적 악용에 관한 새로운 규범을 수립할 때가 됐다. 기술 업계는 AI를 구축하고 도입하면서 데이터와 그 처리에 대해 필요한 가정들을 계속 세울 것이다. 우리는 이 데이터의 토대에 대해 ‘이 데이터가 적법하게 입수되었나?’ ‘데이터를 누가 연결했나?’ ‘가정은 무엇인가?’ ‘정확히 제시되고 있는가?’ ‘시민과 소비자의 프라이버시는 어떻게 보호할 수 있나?’ 같은 질문을 해야 한다.

AI 도입이 확산됨에 따라 신뢰도를 높일 방안도 고민해야 한다. AI를 인간의 의사결정을 보조적으로 강화하는 역할로 사용하되 인간의 개입을 완전히 대체하지 않도록 하는 것이 한 방법이다.

“사회에서 AI가 수행할 역할, AI와 인간의 관계 그리고 인간이 할 일과 AI가 할 일에 대한 질문이 늘어날 것”이라고 쉴레진저는 말한다. “인간의 능력을 보조적으로 강화하는 역량과 능력을 바탕으로 AI에 대한 우리의 신뢰와 의존도를 높일 수 있는 분야들이 있다. AI가 인간을 완전히 대체하는 것이 아니라 인간의 노력을 보조적으로 강화하는 영역에서 그렇게 될 것이다.”

의사결정에 인간이 개입해야 하는 상황은 늘 존재할 것이다. “예를 들어 정부의 규제를 받는 보건의료, 은행, 금융 등의 산업은 규제를 준수하기 위해 의사결정 구조 내에 사람이 포함되어야 한다”고 쉴레진저는 설명한다. “의사도 없이 AI에게 치료에 관한 결정을 내리게 할 수는 없다. AI에 그런 능력이 있다고 믿고 싶겠지만, AI에는 공감능력이 없고 앞으로도 없을 것이다.”

AI가 수집하고 만든 데이터는 불공정을 악화시킬 것이 아니라 완화시켜야 한다. AI를 활용하여 인간과 사회의 진보를 가속화할 방법을 찾는 것, 정책과 대응에서의 공정성을 강화하는 것, 특정 문제에는 인간의 개입이 필요하다는 것을 인정하는 것 사이에 균형이 필요하다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.