We need to design distrust into AI systems to make them safer

더 안전한 AI를 만들고 싶다면 AI를 의심하라

로봇 과학자이자 교육자인 에이너 하워드는 자동화 시스템에 대한 맹신이 위험한 상황을 초래할 수 있다고 경고한다.

에이너 하워드(Ayanna Howard)는 늘 인간에게 도움이 되는 로봇과 AI를 만들기 위해 노력했다. 30년 가까운 연구자 생활 동안 하워드는 화성탐사 로봇에서 유해폐기물 청소로봇, 특수 아동 보조로봇까지 수 없이 많은 로봇을 만들었다. 그 과정에서 로봇 조작, 자율 이동, 컴퓨터 비전 분야에서 놀랍도록 다양한 기술을 개발하기도 했다. 그리고 무엇보다, 인간이 흔히 하는 실수 즉, 자동화 시스템에 대한 지나친 신뢰에 대해 연구했다.

지난 5월 12일 미국 컴퓨터학회 (ACM, Association for Computing Machinery)는 올해의 아테나 교육자상(Athena Lecturer Award) 수상자로 하워드를 선정했다. 이 상은 컴퓨터 과학에 핵심적으로 기여한 여성 과학자에게 수여된다. ACM은 하워드가 이룬 수많은 과학적 성취 뿐만 아니라 자신이 받은 것을 지역사회에 환원하고자 하는 열정과 노력을 선정의 이유로 꼽았다. 기술 분야 전문가로서 유명세를 얻은 하워드는 늘 컴퓨터 분야에서 젊은 여성과 소외된 이웃의 참여를 강화하고 유지하기 위해 관련 프로그램을 만들고 이끌어왔다.

지난 3월 하워드는 16년 간 몸담았던 조지아공과대학교(Georgia Institute of Technology)를 떠나 오하이오주립대학교(Ohio State University) 공과대 학장에 취임했다. 하워드는 이 학교 최초의 여성 공과대 학장이기도 하다. 하워드가 ACM상 수상자로 선정되던 날 그녀의 일과 최근 연구에 대해 이야기를 나눴다.

당신의 연구를 ‘인공지능(artificial intelligence)’ 대신 ‘인간화지능(humanized intelligence)’이라는 표현으로 설명한 것을 보았다. 이런 표현을 사용한 이유가 무엇인가?

그렇다. 2004년 한 논문에서 그 표현을 처음 사용했다. 당시 왜 우리가 로봇과 AI 시스템에 사용되는 지능(intelligence)을 연구하는 지에 대해 고민하고 있었다. 우리가 원하는 것은 인간적 상호작용 밖에 존재하는 지능을 만드는 것이 아니다. 우리를 움직이게 하는 것은 인간적 경험(human experience), 인간에 관한 데이터(human data), 그리고 인간의 투입(human inputs)이다. ‘인공지능’이라는 표현은 다른 종류의 지능인 것 같은 느낌을 준다. 반면 ‘인간화지능’은 인간을 구성하는 요소(human construct)에 의해 움직이는 지능이라는 느낌을 준다. 또, ‘인간화지능’은 그런 시스템을 만들 때 우리가 가진 몇몇 사회적 가치가 반영되도록 한다는 의미도 담겨 있다.

어떻게 일을 하게 되었나?

처음 시작은 박사 논문이었다. 당시 나는 병원에서 사용되는 유해폐기물 청소로봇 조작기 훈련에 매달리고 있었다. 그 때는 주사기를 안전하게 처리하는 장소도 따로 없었다. 주사기가 다른 것들과 뒤섞여 쓰레기통에 함께 버려졌고, 병원 직원들은 곧잘 병에 걸렸다. 그래서 ‘이런 환경에 도움이 되는 로봇을 어떻게 만들 수 있을까’ 고민했다.

거의 처음부터 사람을 돕는 로봇을 만드는 일을 한 셈이었다. 몇 가지 일만이라도 능숙하게 하는 로봇을 만드는 방법도 모른다는 점도 인정했다. 그렇지만 인간은 늘 그런 일을 한다. 그래서 인간의 방식을 모방해야겠다고 생각했다. 이렇게 일을 시작했다.

그 후 NASA와 일하면서 미래의 화성 탐사 로버에 대해 고민했다. 그 때에도 이런 식으로 생각했다. ‘과학자들은 이 일을 아주 잘 한다. 그러므로 과학자가 로버를 원격 조정하고 로버에 달린 카메라를 통해 직접 볼 수 있게 해야겠다. 그 다음, 이를 로버 운전 방법과 연결해 보자.’ 나의 주제는 늘 이런 것이었다. ‘일단 인간 전문가를 만나서 그들이 일하는 방식을 알고리즘에 코딩하고, 로봇이 그 방식을 이해하게 만들면 어떨까?’

당신 외에 AI 로봇을 인간의 관점에서 생각하고 얘기하는 사람들이 있었나? 아니면 당신만 유별난 괴짜였나?

나는 완전히 괴짜였다. 나는 사물을 보는 관점이 다른 사람들과 달랐다. 그 때에는 그런 종류의 연구를 수행하는 방법에 대해 전혀 지침이 없었다. 당시 나의 연구 방식을 지금 와서 되돌아보면, 지금이라면 완전히 다른 방식으로 할 것이라고 말하겠다. 그 이후 이 분야에 많은 경험과 지식이 축적되었다.

인간에게 도움이 되는 로봇을 만드는 일에서 인간과 로봇의 관계에 대한 고민으로 넘어간 것은 언제인가?

로봇에 대한 인간의 신뢰를 연구하면서 큰 자극을 받았다. 촌각을 다투는, 매우 위험한 상황에서 인간이 안내 로봇을 신뢰하는지 알아보는 실험을 한 적이 있다. 교외에 있는 빈 건물 앞에 모인 사람들을 로봇의 안내에 따라 건물 안에 들어가게 했다. 로봇과 실험 진행 방식에 대해서는 거짓으로 설명했다. 사람들이 건물에 들어간 후에 건물에 연기를 피우고 화재경보를 울렸다.

사람들이 건물을 빠져나올 때 정문으로 향하거나 비상탈출 표시등 쪽으로 갈지 아니면 로봇이 전혀 다른 방향을 가리켜도 로봇의 지시를 따를지 알아보려는 것이었다.

우리는 참가자들이 건물에 들어갈 때 통과한 정문으로 갈 것이라고 생각했다. 사람은 비상 상황에 처하면 익숙한 곳으로 가려는 경향이 있다는 선행 연구가 있었기 때문이다. 어쩌면 비상탈출 표시등을 따라 갈지도 모른다고 생각했다. 우리는 그렇게 하라고 훈련을 받았으니까. 그렇지만 실험 참가자들은 다른 선택을 했다. 로봇의 안내에 따라 움직인 것이다.

그래서 우리는 실험에 몇 가지 장치를 추가했다. 로봇이 한 자리에서 뱅글뱅글 돌도록 고장을 냈다. 또, 사람들을 가구가 있는 방향으로 안내하도록 조작했다. 어느 정도 시간이 지나면 사람들이 “정문으로 가든가 아니면 바로 앞에 있는 비상탈출 표시등을 따라 가자”고 할 것이라고 생각했다. 그런데 참가자들은 그야말로 실험이 거의 끝날 때가 되어서야 로봇의 안내를 따르는 것을 멈추었다.

우리의 가설이 완전히 틀렸다는 것이 처음 드러난 순간이었다. ‘사람들이 이런 시스템을 신뢰한다니!’하고 놀랐던 것 같다. 대단히 흥미로웠지만, 그것은 분명 문제였다.

실험 이후 실생활에서 그런 현상이 나타나는 것을 적이 있나?

테슬라 자동차 사고가 보도될 때마다 본다. 특히 처음에 더 그랬다. ‘아, 그 문제구나’ 이런 느낌이었다. 사람들이 이런 시스템을 맹신하고 있는 것이다. 최초로 사고가 난 다음 그들이 어떻게 했는지 기억하나? 운전자가 핸들에서 일정 시간 이상 손을 떼고 있지 못 하도록 했다. 손이 핸들에 닿아 있지 않으면 시스템이 꺼지도록 했다.

그렇지만 그들은 나에게 그 문제를 상의하러 오지 않았다. 그렇게 해도 소용이 없다고 생각했을 것이다. 소용이 없다는 것은 시스템을 쉽게 조작할 수 있기 때문이다. 예를 들어, 휴대전화에서 ‘삑’ 소리가 나면 당신도 모르게 손을 전화기 쪽으로 움직일 것이다. 그것은 무의식적인 행동이다. 특별히 더 주의를 기울이지는 않을 것이다. 전화기 시스템에 아무 문제가 없다고 생각하기 때문이다. 그리고 책을 읽든, TV를 보든, 전화기를 보든 하려던 일을 그냥 할 것이다. 벨이 울린다 해도 사용자가 느끼는 위험, 불확실성 또는 불신의 수준이 높아지지 않으니 경고가 소용 없는 것이다. 사용자가 다시 개입하게 할 정도로 경고 수준을 충분히 높이지 않았다는 말이다.

안전한 시스템을 만들기 위해, 이런 종류의 상황에서 적극적으로 시스템을 불신하는 방법을 얘기한다는 점이 흥미롭다.

그렇다. 그것은 해야만 하는 일이다. 실제로 우리는 지금 ‘서비스 거부(denial of service)’라는 아이디어를 실험하고 있다. 아직 결과는 나오지 않았다. 몇 가지 윤리적 문제도 고려해야 한다. 이런 문제를 제기하고 결과를 발표하면, AI에게 서비스 거부 권한을 주지 말아야 할 이유도 설명해야 한다. 누군가 서비스를 정말 필요로 할 때 과연 서비스를 거부할 수 있을까?

테슬라 시스템과 관련된 예를 하나 들어보겠다. 서비스 거부는 이런 식으로 작동할 것이다. 우선 내가 당신의 신뢰도 프로필을 만든다. 당신이 시스템을 정지시키거나 반대로 운전대에서 손을 떼고 서비스에 개입하지 않은 횟수를 토대로 만들 것이다. 이 같은 비개입(disengagement) 프로필이 생성되면, 당신이 어떤 경우에 시스템에 대한 완전한 신뢰 상태에 있는지에 대한 모델을 만들 수 있다. 우리는 이런 작업을 이미 수행했다. 다만 테슬라 데이터가 아니라 우리의 자체 데이터로 했다. 그러다가 어떤 시점에 당신이 차에 타면 서비스 거부 모드가 실행되는 것이다. 그러면 당신은 일정 시간 동안 시스템에 접근할 수 없다.

벌을 주려고 십대 자녀의 휴대전화를 압수하는 것과 거의 비슷하다. 하지 말아야 할 행동을 할 경우 휴대전화를 사용하지 못하게 하겠다고 하면 아이들은 그것이 무엇이든 하지 않을 거라는 걸 당신도 알 것이다.

시스템에 대한 불신을 강화하기 위해 살펴본 다른 메커니즘이 있나?

우리가 살펴본 다른 방법론이 있다. ‘설명하는 AI(explainable AI)’라고 부르면 될 것 같다. 이것은 몇 가지 위험이나 불확실성에 대해 사용자에게 설명하는 시스템이다. 모든 시스템에는 불확실성이 있다. 그 어떤 시스템도 100%의 확실성을 가지지는 않는다. 그런데 시스템은 그 불확실성이 언제 발생하는지를 안다. 따라서 그것을 인간이 이해할 수 있는 정보의 형태로 설명하여 인간의 행동을 바꾸는 것이다.

예를 들어, 내가 자율주행차라고 가정해보자. 나는 지도 정보가 있고 어떤 교차로가 다른 교차로보다 사고 확률이 높은지도 알고 있다. 그래서 그런 교차로에 가까워지면 “작년에 10명이 사고로 사망한 교차로에 다가가고 있다”고 운전자에게 알린다. 이를 통해 운전자가 ‘더 주의해야지’라고 생각하게 하는 것이다. 

지금까지 시스템을 과도하게 신뢰하는 경향에 대한 당신의 우려를 얘기했다. 다른 면에서도 살펴보자. 그에 따른 장점도 있나?

부정적인 면은 편향성(bias)와 깊은 관련이 있다. 그래서 나는 항상 편향성과 신뢰를 동의어처럼 사용한다. 사람들이 시스템을 맹신하고, 그 시스템이 내리는 결정이 인구 집단 별로 다른 결과를 가져온다면 예를 들어, 의료진단 시스템이 여성과 남성에게 다른 판단을 한다면, 우리는 현재의 불평등을 확대하는 시스템을 만들고 있는 셈이다. 이것은 분명 문제다. 생과 사를 가를 수도 있는 보건이나 교통 문제에 대입해보자. 한 번의 그릇된 결정이 되돌릴 수 없는 상황을 불러올 수 있다. 반드시 바로잡아야 한다.

긍정적인 면은, 대체로 자동화 시스템이 인간보다 낫다는 것이다. 물론 나는 자동화 시스템이 지금보다 더 좋아질 수 있다고 생각하기는 하지만, 개인적으로 특정 상황에서는 인간 보다 AI와의 상호작용을 택하겠다. AI 시스템의 몇 가지 문제점을 알지만, 그래도 AI를 사용하겠다는 뜻이다. AI는 [사람보다] 보유한 데이터가 많고 정확하다. 특히 초보자보다는 시스템이 더 좋은 결과를 낸다. 단지 그 결과가 평등하지 않은 것이 문제일 뿐이다.

로봇과 AI 연구 외에도 줄곧 다양성 확대를 강력하게 주장했다. 무려 20년 전에 십대 고위험군 여학생을 위한 멘토링 프로그램도 만들었다. 이 문제에 대해 고민하던 사람이 별로 없던 시절이었다. 이 문제가 당신에게 그리고 과학기술 분야에 왜 중요한가? 

누군가 나에게 공학과 컴퓨터과학을 접할 기회를 주었던 것을 기억한다. 그 때는 그것이 중요하다는 것조차 몰랐다. 그렇지만 그 덕분에 나중에 기회가 왔을 때 일말의 망설임도 없이 뛰어들 수 있었다. 그래서 나에게 그런 기회를 준 이들을 위해 나도 같은 일을 해야 할 의무가 있다고 늘 생각했다. 나이가 좀 더 든 후에는 내가 있는 공간에 나와 비슷하게 생긴 사람이 별로 없다는 것을 깨달았다. ‘분명 문제가 있다. 롤모델이 없어서, 접근 기회가 없어서, 이것이 중요하다는 것조차 몰라서 이렇게 된 것’이라고 생각했다.

[다양성 문제가] 이 분야에 중요한 것은 사람마다 경험하는 것이 다 다르기 때문이다. 인간과 로봇의 상호작용이 중요한 주제로 떠오르기 전에 내가 그 문제를 고민할 수 있었던 것은 내가 똑똑해서가 아니라, 문제를 다른 시각에서 바라봤기 때문이다. 나는 나와 관점이 다른 사람들과 얘기할 때 “두 세계의 가장 좋은 점을 찾아서 합쳐 보자”라고 말한다.

에어백 사고로 여성과 아동이 더 많이 목숨을 잃는다. 왜 그럴까? 나는 의사결정자 중에 “‘여성이 앞자리에 앉는 경우를 실험해 보자’고 말하는 사람이 없어서”라고 답하겠다. 사망률과 위험성이 특정 집단에서만 높은  사고가 정말 많다. 다시 한 번, “‘이런 면에 대해 생각해 봤는지’ 질문하는 사람이 많지 않아서”라고 답하겠다. 그런 질문에는 말하는 사람의 경험과 환경, 지역사회가 반영된다.

앞으로 AI 로봇 연구 분야가 어떤 방향으로 발전하기를 희망하나? AI 로봇 연구의 미래는 어떻게 보나?

코딩과 프로그래밍을 묻는 것이라면, 이미 할 수 있는 사람이 꽤 많다. Code.org같은 단체도 매우 많고 자원과 도구도 있다. 언젠가 “AI와 머신러닝에 대해 알고 있나요?”라고 내가 학생에게 질문하면 학생이 “교수님, 전 3학년 때부터 했어요!”라고 말하는 날이 왔으면 좋겠다. 그런 충격을 받으면 정말 기분이 좋을 것 같다. 물론 그렇게 되면 나도 앞으로 무슨 일을 할지 고민을 해야겠지. 그렇지만 이는 전혀 다른 얘기다.

코딩, AI, 머신러닝이라는 도구가 있으면 자신의 일을 직접 만들 수 있다. 자신의 미래를 직접 설계하고 해법도 직접 찾을 수 있다. 그것이 나의 꿈이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.