The Department of Defense is issuing AI ethics guidelines for tech contractors

美 국방부가 기술기업을 위해 AI 윤리 가이드라인을 마련한 이유

과거 전력 강화책인 ‘프로젝트 메이븐(Project Maven)’을 둘러싼 논란으로 신뢰에 심각한 타격을 입은 미국 국방부가 신뢰 회복을 위해 인공지능(AI) 윤리 가이드라인을 마련했다.

2018년 구글 직원들이 구글이 논란이 많았던 ‘프로젝트 메이븐’에 관여했다는 사실을 알고 행복하지 않았다. 메이븐 프로젝트는 AI 기술을 기반으로 국방부가 수집한 영상 정보를 해석해 드론의 타격 정확도를 향상시키기 위해 추진됐던 프로젝트다.

구글의 관여 사실을 안 구글 직원 수천 명이 항의에 나섰다. 직원들은 회사 경영진에 보낸 서한에서 “우리는 구글이 전쟁 사업에 관여해서는 안 된다고 믿는다”라고 적었다. 약 12명의 직원이 회사를 떠났고, 결국 구글은 2019년 국방부와 맺었던 계약을 갱신하지 않았다.

프로젝트 메이븐은 여전히 존재한다. 아마존과 마이크로소프트를 포함한 다른 기술 기업들이 구글이 떠난 자리를 채웠다. 그러나 미 국방부는 이로 인해 신뢰에 타격을 입었다는 사실을 인지하고 있다. 최신 기술, 특히 AI를 계속 이용하기 위해서는 빅테크를 포함해 기타 민간기업과의 협력이 필요하기 때문에 반드시 신뢰를 되찾는 게 필요하다.  

이에 국방부와 기업 간 계약 체결 책임을 맡은 국방혁신단(Defense Innovation Unit, DIU)은 투명성 제고 차원에서 이른바 ‘책임 있는 인공지능’ 가이드라인을 공개했다. 앞으로 제3의 개발사가 인사 시스템이건 공격 목표물 인식이건 군용 AI를 구축할 때 이 가이드라인을 따라야 한다.

가이드라인에는 기업이 AI 계획 수립, 개발, 구축 과정에서 따라야 할 단계별 과정이 적시되어 있다. 또한 시스템을 구축하기 전 및 구축됐으면 시스템을 가동하기 전에 기술을 사용할 주체, 그로 이로 인해 피해를 입을 당사자, 피해 내용, 피해 방지 방법을 알아내는 절차 등도 포함되어 있다.

가이드라인 제작에 참여한 DIU의 브라이스 굿맨은 “국방부뿐만 아니라 솔직히 말해서 미국 정부 내에서도 이 정도 수준으로 자세한 지침은 존재하지 않는다”고 말했다.

국방부 가이드라인을 다른 부서가 채택할 경우 미국 정부의 AI 개발 방식이 바뀔 수 있다. 굿맨은 자신과 동료들이 국립해양대기청(NOAA)과 교통부에 가이드라인을 전달했으며, 법무부, 총무청, 국세청 내 윤리 부서들과 이와 관련한 논의를 하고 있다고 설명했다.

그에 따르면 가이드라인 마련 목적은 국방부와 계약을 맺은 기술기업들이 국방부의 AI 윤리 원칙을 따르도록 만들기 위해서다. 국방부는 2016년 실리콘밸리의 불씨를 미군에 옮기기 위해 설립된 선도 기술연구원과 기업인으로 구성된 자문위원회인 국방혁신위원회(Defense Innovation Board) 의뢰로 2년간의 연구 결과를 토대로 지난해 이 원칙을 발표했다. 이사회 의장은 에릭 슈미트(Eric Schmidt) 전 구글 최고경영자(CEO)가 2020년 9월까지 맡았으며, 다니엘라 루스(Daniela Rus) 현 MIT 컴퓨터과학·인공지능연구소 소장이 참여하고 있다.

그러나 일부 비평가들은 가이드라인이 어떤 의미 있는 개혁을 약속할지에 대해 계속해서 의문을 제기하고 있다.

이사회는 연구 기간 동안 킬러 로봇 캠페인(Campaign for Killer Robots) 회원들과 프로젝트 메이븐 시위를 도운 전 구글 연구원 메레디스 휘태커(Meredith Whittaker)와 같은 군용 AI 사용에 비판적인 목소리를 내온 사람들을 포함한 다양한 전문가들의 의견을 구했다.

가이드라인이 프로젝트 메이븐에 대한 신뢰를 쌓는데도 도움을 줄 수 있을까? 굿맨은 “가이드라인을 역설적이라고 생각하고 국방부가 제시하는 어떤 윤리 가이드라인에도 절대 만족하지 못하는 사람들이 있을 것이다”라면서 “가이드라인이 할 수 있는 일과 없는 일을 냉철하게 판단하는 게 중요하다”라고 말했다.

예를 들어, 가이드라인에는 일부 반대론자들이 금지되어야 한다고 주장하는 기술인 ‘자율 살상 무기(lethal autonomous weapon)’ 사용에 대한 언급이 전무하다. 그러나 굿맨은 그러한 기술에 대한 규정은 명령 체계의 상위 단계에서 결정된다고 설명했다. 가이드라인 마련 목적은 그러한 규정을 충족하는 AI를 더 쉽게 구축할 수 있도록 하자는 것이고, 그 과정의 일환에서 제3의 개발사들이 가지고 있는 우려를 명시해놓는 것이라는 설명이다. 역시 가이드라인 마련에 참여한 DIU의 재러드 던몬(Jared Dunnmon )은 “이 가이드라인은 특정 시스템을 추구하지 않기로 결정하게 만드는 데 유용하다”라면서 “(가이드라인을 통해) 그것이 좋은 생각이 아니라고 결정할 수 있다”고 말했다.

구글에서 강제 퇴사를 당하기 전에 팀니트 게브루와 함께 구글의 ‘윤리 AI(Ethical AI)‘팀을 이끌었던 허깅 페이스(Hugging Face)의 AI 연구원 마가렛 미첼(Margaret Mitchell)은 윤리 가이드라인은 적어도 이론적으로는 프로젝트를 더 투명하게 만드는 데 도움이 될 수 있다는 데 동의한다. 미첼은 구글에서 프로젝트 메이븐 반대 시위를 주도했었다. 그녀는 “구글 직원들은 회사가 강력한 기술을 아무런 보호난간 없이 군에 넘긴다는 것을 가장 비판했다”면서 “무엇보다 명확한 가이드라인이나 투명성 결여 때문에 결국 직원들은 구글을 떠난 것”이라고 덧붙였다.

미첼의 눈에는 이 문제가 명백히 해결됐다고 보지는 않는다. “나는 구글 내 몇몇 사람들이 확실히 군대와 함께 하는 모든 일을 나쁘다고 느꼈다고 생각한다”고 말했다. 다만 그녀는 “나는 그런 사람은 아니다”라고 덧붙였다. 미첼은 기업과 그들의 윤리 원칙을 지키면서 같이 협력할 수 있는 방법에 대해 국방부에 이야기해왔다.

미첼은 국방부가 원하는 신뢰를 얻기 전에 할 수 있는 일이 있다고 생각한다. 다만 그러기 위해서 넘어야 할 한 가지 문제는 가이드라인 내 일부 문구가 해석의 여지가 있다는 사실이다. 가령 가이드라인에는 “국방부는 AI가 가진 능력에 대해 ‘의도하지 않게 갖게 된 편견’을 최소화하기 위해 신중한 조치를 취할 것”이라고 되어 있다. 그렇다면 의도해서 갖게 된 편견에 대해선 어떻게 한다는 것인가? 물론 이것이 괜한 트집잡기처럼 보일 수도 있지만, 이런 세세한 점에 따라 해석의 차이가 생길 수 있는 것도 사실이다.  

군사 기술이 어떻게 사용되는지를 일일이 감시하기는 어렵다. 그러려면 보통 보안 허가가 필요하기 때문이다. 이 문제를 해결하기 위해 미첼은 국방부 계약에 승인권이 있는 독립 감사인이 참여하기를 바란다. 이들 감사인이 기술 기업들에 가이드라인이 실제로 제대로 지켜지고 있다는 안도감을 줘야 한다는 것이다. 그녀는 “기술기업 직원들은 가이드라인이 그들이 기대하는 대로 해석되고 있다는 보장을 받아야 한다”고 주장했다.

배경: 2017년 국방부가 전력 강화책인 ‘프로젝트 메이븐’을 발표하면서 AI 알고리즘 지원을 요청하자 구글이 AI 기술을 국방부에 제공하기로 결정한 바 있다. 당시 이 프로젝트의 핵심 과제는 군사용 드론이 인간과 사물을 정확히 구분하게 만드는 것이었다. 하지만 직원들은 구글이 전쟁 기술을 만드는 것을 돕는다며 즉각 반발했고, 결국 다음 해인 2018년 5월 구글은 더 이상 군사용 AI 개발에 참여하지 않기로 했다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.