Worried about your firm’s AI ethics? These startups are here to help.

AI 윤리 문제에서 비즈니스 기회를 발견하다

‘책임있는 AI’ 벤처의 생태계가 점점 커지면서 기업들이 자사 AI 모델을 모니터링하고 개선하는 데 도움을 받을 수 있게 될 전망이다.

루먼 초두리(Rumman Chowdhury)의 업무에는 많은 ‘통역’ 작업이 따랐다. 초두리는 컨설팅 기업 액센츄어에서 ‘책임있는 AI’ 분야를 총괄하면서 자신들이 사용하는 AI 모델을 이해하는데 어려움을 겪는 고객들을 상대하곤 했다. 고객들은 자사 AI 모델이 해야 할 일을 하고 있는지 어떻게 파악했을까? 이런 혼란이 자주 발생하는 이유 중 하나는 사내 데이터 과학자(data scientists)와 변호사, 경영진이 서로 다른 언어를 사용하는 것 같았기 때문이다. 초두리의 팀은 모든 당사자가 서로 뜻을 통하게 할 중재자 역할을 맡았다. 이는, 아무리 좋게 말해도 비효율적이었다. 모델 하나 평가하는 데만 몇 달이 걸릴 수 있었다.

그래서 2020년 말 초두리는 액센츄어를 떠나 패리티 AI(Parity AI)를 창업했다. 이 회사는 이 같은 과정을 몇 주로 단축하는 도구들을 제공한다. 먼저 고객이 모델의 어떤 점을 검증하고 싶은지 – 편향성 문제인지, 규제 준수 문제인지 – 를 파악하는 데 도움을 준 다음, 문제 해결 방안을 자문한다.

패리티는 최근 많이 등장한 이 분야 신생 기업 중 하나다. 이들 신생 기업은 고객사에 인공지능 모델을 개발하고, 모니터링하고, 수정하는 법을 알려준다. 이들은 편향 완화 도구(bias-mitigation tools)부터 설명가능한 AI 플랫폼(explainability platform)에 이르기까지 다양한 제품과 서비스를 제공한다. 처음에는 대부분의 고객이 금융과 의료와 같이 엄격한 규제를 받는 산업에서 왔다. 그러나 편견과 개인 정보 보호, 투명성 문제에 대한 연구와 언론의 관심이 증가하면서 대화의 초점이 점점 바뀌었다. 신규 고객 중에는 단순히 AI의 책임 문제를 우려하는 사례도 있고, 앞으로 예상되는 규제에 대비해 문제의 소지를 미리 없애려는 경우도 있다.

초두리는 “많은 기업들에게 이것은 생소한 문제”라며 “대부분 기업들에게 도움이 필요하다”고 말한다.

위험에서 영향력으로

신규 고객을 상대할 때 초두리는 ‘책임’이라는 용어를 사용하길 피한다. 이 단어는 너무 빈약하고 불명확해 잘못된 의사소통을 초래할 여지가 너무 많다. 대신 그녀는 더 익숙한 경영 용어로 대화를 시작한다. 바로 위험(risk)이다. 많은 기업들은 위험 및 법규준수 부서를 두고 있고, 위험 완화를 위한 절차도 수립해 두었다.

AI 위험 완화도 다르지 않다. 회사는 여러 우려 사항들을 고려하는 것에서 출발해야 한다. 여기에는 법적 위험과 법 위반 가능성, 조직적 위험과 인력 손실 가능성, 평판 위험과 PR 실패 가능성 등이 포함될 수 있다. 거기서부터 거꾸로 거슬러 올라가 인공지능 시스템을 평가하는 방안을 결정할 수 있다. 미국의 공정대출법(fair lending laws)에 따라 운영하는 금융회사는 법적 위험을 완화하기 위해 대출 모델에 편향이 있는지 확인하고 싶을 것이다. 원격의료 기업은 민감한 의료 데이터를 다루므로 평판 위험을 완화하기 위해 개인정보 감사를 실행할 수 있을 것이다.

패리티에는 기업이 자사의 AI 모델 위험을 평가하는 데 도움이 될 만한 질문들을 모아놓은 라이브러리가 있다. 패리티 제공

패리티는 이런 프로세스의 구성을 지원한다. 패리티 플랫폼은 먼저 고객 회사에 내부 영향 평가 구축을 요청한다. 이는 기본적으로 자사 사업과 AI 시스템의 운영 방식에 대한 개방형 설문이다. 회사는 자체적으로 질문을 작성하거나 패리티 라이브러리에서 질문을 선택할 수 있다. 패리티 라이브러리에는 전 세계의 AI 윤리지침과 관련 법규에서 채택한 1,000개 이상의 질문들이 들어 있다. 평가 설계가 끝나면 회사는 직원들에게 각자 직무와 지식을 바탕으로 설문지를 작성하게 한다. 그런 다음 자연어 처리 모델(natural-language processing model)을 통해 직원들의 자유 응답(free-text responses)을 분석하고, 이를 회사의 주요 위험 영역에 초점을 맞춰 번역한다. 즉, 패리티는 데이터 과학자와 변호사가 서로 이해할 수 있도록 새로운 중재자 역할을 한다.

다음으로 패리티 플랫폼은 상황에 맞는 일련의 위험 완화 조치를 권고한다. 여기에는 모델의 정확도를 지속적으로 모니터하기 위한 대시보드를 만들거나, 인공지능 모델이 개발의 각 단계에서 어떻게 훈련되고 미세 조정되었는지를 추적하기 위한 새로운 문서화 절차(documentation procedures)를 구현하는 것 등이 포함된다. 또 패리티 플랫폼은 편향성 모니터링을 위한 IBM의 ‘AI 페어니스 360(AI Fairness 360)‘이나 문서화를 위한 구글의 ‘모델 카드(Model Cards)‘와 같이 도움이 될 만한 오픈소스 도구도 제공한다.

초두리는 기업이 AI 모델 검증에 걸리는 시간을 단축할 수 있다면, 정기적으로 그리고 자주 검증을 수행할 수 있게 될 것으로 기대한다. 그녀는 시간이 지나면서 기업들의 생각이 위험 완화 이상으로도 이어질 수 있기를 바란다. 초두리는 “더 많은 기업이 위험뿐 아니라 영향력에 대해서도 생각하게 하는 것이 목표”라고 말한다. 그는 “위험은 요즘 사람들이 이해하는 언어이고 매우 유용한 언어이지만, 종종 벌어진 일에 대한 대응 및 반응의 성격이 크다. 영향력은 더 적극적 접근이고, 실제로 우리가 하려는 일의 틀을 짜는 데 더 좋은 방식”이라고 초두리는 부연한다.

책임 생태계

패리티가 위험관리에 중점을 둔 반면, 다른 스타트업 피들러(Fiddler)는 설명가능성(explainability)에 중점을 둔다. 이 회사 크리슈나 게이드(Krishna Gade) CEO는 페이스북 뉴스피드 부서의 개발팀장으로 일하면서 AI 모델의 의사결정 방식에 대한 투명성을 높일 필요가 있다고 생각하기 시작했다. 2016년 미국 대선 이후 페이스북은 자사 알고리즘이 콘텐츠에 순위를 매기는 방식을 더 잘 이해하기 위해 내부적으로 큰 노력을 기울였다. 게이드의 팀은 사내협업도구(internal tool)를 개발했고, 이는 나중에 ‘이 게시물이 표시되는 이유는?’ 기능의 기반이 되었다.

게이드는 그 직후인 2018년 10월 피들러를 시작했다. 피들러는 데이터과학 팀이 인공지능 모델의 진화 과정을 추적하는 데 도움을 주고, 그 결과를 기반으로 경영진에 제출할 보고서를 작성한다. 모델의 정확도가 시간의 경과에 따라 저하되거나 모델 작동에 편향성이 생길 경우 피들러는 원인이 될만한 오류를 찾아 수정하는 작업을 지원한다. 게이드는 AI 모델을 모니터하고 설명가능성을 개선하는 작업을 인공지능을 더욱 계획적으로 개발하고 활용하기 위한 첫 단계로 보고 있다.

2019년 설립한 아서(Arthur)와 2017년에 설립한 웨이트앤드바이어스(Weights & Biases)도 모니터링 플랫폼을 제공하는 회사들이다. 아서는 피들러와 마찬가지로 설명가능성과 편향 완화를 강조하고, 웨이트앤드바이어스는 연구 재현성(reproducibility)을 향상시키기 위해 기계학습 실험(machine-learning experiments)을 추적한다. 세 회사 모두 기업들의 주요 관심사가 법률 준수나 모델 성능 문제에서 윤리와 책임 문제로 서서히 바뀌고 있음을 감지하고 있다.

아서의 ‘책임있는 AI’ 담당 부사장이자 시민단체 ‘감시기술 감독 프로젝트(Surveillance Technology Oversight Project)’의 기술책임자 리즈 오설리번(Liz O’Sullivan)은 “초기엔 고객들이 자사 브랜드를 책임 있는 AI 원칙을 실천하는 다른 브랜드와 비교하면서 그저 네모 칸에 체크 표시만 할 것이라는 걱정도 들었다”고 털어놓는다. 그러나 아서의 많은 고객들은 기술적 해결책을 넘어 지배 구조와 인클루시브 디자인(inclusive design, 사회적 소외 계층과 약자를 포함하여 다양한 사용자를 포괄하는 디자인) 접근법까지 추구하려 했다. 오설리번은 “고객들이 옳은 일을 하려는 의지가 있다는 사실에 매우 기뻤다”고 말한다.

오설리번과 초두리 모두 이 분야에 다양한 스타트업이 더 많이 등장하는 것을 긍정적으로 바라본다. 오설리번은 “책임있는 AI 원칙을 실현하는 데 필요한 도구나 작업은 단 한 가지만 있는 게 아니다”라고 말한다. 초두리 역시 이에 동의하며 “이 분야도 하나의 생태계를 이룰 것”이라고 말했다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.