Can Computer Algorithms Learn about the Ethics of Warfare?

컴퓨터 알고리듬은 윤리적 전투방법을 배울 수 있을까?

AI는 미래 전쟁의 승패를 좌우할 전망이다. 그런데 자동화된 킬러 로봇은 전투 현장에서 국제 인도법(IHL)을 위반하지 않는 선택을 내릴 수 있을까? 유엔군축실(UNODA)은 군사용 킬러 로봇에 대한 ‘의미 있는 인간 통제(Meaningful Human Control)’를 논의하고 있지만 국제 조약은 아직 통과되지 않고 있다. 안보와 밀접한 무기 체계의 통제를 꺼리는 나라들 때문이다. 최근 미국 펜타곤은 외주 업체들에게 ‘책임있는AI를 위한 윤리적 가이드라인’을 준수할 것을 발표했다.

방 분야에 사용되는 AI

인공지능(AI)의 적용 영역이 넓어지고 있지만 AI가 인간의 일자리를 빼앗거나 블랙박스처럼 불투명한 알고리듬이 사회적 약자를 차별할 것이라는 우려도 여전하다. AI 기반 자동화 무기에 대한 우려는 인간의 통제를 완전히 벗어나 대규모 살상을 초래할 수 있다는 가능성에 초점이 맞추어져 있다.

그러나 국방 분야에 사용되는 모든 AI가 생명을 위협하는 자동화된 무기 시스템을 의미하지는 않는다. 군사용 AI의 분야들은 다양하고 넓다. 방대한 데이터를 수집하고 분석하는 감시정찰(ISR), 군수보급(logistics), 정보작전(information operations), 지휘통제(command and control), 치명적 자율무기 시스템(LAWS) 등이다. 실무적으로 활용도가 높은 분야로는 컴퓨터 비전과 머신러닝 알고리듬을 이용한 위성 사진 이미지 분석, 사이버 방어, 감시 정찰 등이 꼽힌다.

구글은 코로나19 팬데믹 대응에 도움이 되는 클라우드 소프트웨어와 AI 도구를 제공하기로 미국 펜타곤과 지난해에 계약을 맺었다. 효율적 자원 배분을 돕는 AI 도구와 자원 최적화 솔루션이 대부분이다. 예컨대 무인 항공기가 찍은 이미지를 머신러닝으로 분석하여 해군 선박들의 부식을 감지하고, 공군 제트기들을 관리한다. AI시스템이 전투나 공격 작전이 아닌 장비 관리, 정확한 정찰, 자원 배분, 정보용으로 사용되는 사례들은 앞으로 더 늘어날  것이다.    

치명적 자율무기 시스템

“인간의 감독이 없이 인간 목표물을 찾아, 선택하고, 교전하는 무기”를 뜻하는 치명적 자율무기 시스템(LAWS)을 금지하자는 논의는 유엔 군축실(UNODA)에서 2013년부터 시작되었다. 예컨대, 무게가 3g에 불과한 슬라우터봇(slaughterbots)은 미리 입력된 목표물의 나이, 성별, 유니폼 등 정보를 머신러닝을 통해 인식하고 빠르게 날아가 목표물을 강타한다. 치명적 자율무기 시스템은 ‘과도한 상해나 무차별한 영향을 초래하는’ 특정재래식 무기 금지협약(CCW)의 연장선에 놓여 있다.

이 문제를 논의하고자 각국의 전문가 그룹(GGE)은 8년에 걸쳐 회의를 열었지만 결론을 내리지 못했다. 자율적인 무기 시스템에 ‘의미 있는 인간 통제(meaningful human control)’가 필요하다는 주장에도 불구하고 그 의미와 대상은 여전히 모호하다. 용어 자체의 불명확성을 둘러싼 반론도 많아서 자율형 킬러 로봇을 금지하는 법적 구속력이 있는 합의는 아직 나오지 않고 있다. 외교적 협상을 거쳐 재래식 무기 금지협약의 목록에 추가될 수 있을까?  

유엔 군축실(UNODA)의 정부 전문가(GGE) 회의

프로젝트 메이븐 논란 이후

구글은 2017년 미국 국방부로부터 ‘프로젝트 메이븐(Project Maven)’ 계약을 따내는데 성공했다. 그것은 머신러닝을 사용하여 무인 항공기가 수집한 영상 정보를 자동 분석하여 타격 목표의 정밀도를 높이기 위한 시스템 개발이었다. 그 원래 명칭은 ‘알고리듬 전투를 위한 기능팀(Algorithmic Warfare Cross-Functional Team)’이었다. 이 프로젝트는 “AI를 전쟁 무기나 감시용으로 사용해서는 안된다”는 내부 직원들의 반발에 부닥쳤었다. 그렇지만 구글의 오픈소스 텐서플로우는 특정 인물의 객체 이미지의 인식을 지원하는 구분하기 위해 적용되었을 뿐이지 무차별적 살상과는 관련이 없었다.

프로젝트 메이븐에 대한 내부 반발은 구글이 ‘AI 원칙들’을 발표하는 계기가 되었다. 윤리적 논란을 잠재우기 위해 구글은 AI를 무기용으로 사용하지 않을 것이고, 펜타곤과의 계약도 갱신하지 않겠다고 약속했다. 그러나 3 년이 흐른 뒤에는 ‘AI 원칙에 위반하지 않는 방식으로’ 펜타곤과 협력하겠다고 말을 바꾸었다. 펜타곤이 발주하는 수익성 좋은 클라우드 프로젝트 입찰에 참여하기를 원하기 때문이다.  

군사용 AI연구를 살상용 킬러 로봇으로 오해하는 해프닝은 국내에서도 벌어졌다. 2018년 무렵 영국과 호주의 로봇 공학자 50여명은 AI연구가 무기 시스템에 결합될 수 있다고 주장하며 항공안전기술원(KIAST)과의 공동 연구를 보이콧했었다. 그러나 KIAST 캠퍼스에 문을 연 국방인공지능 융합연구센터는 AI 무인 잠수정을 위한 물체추적 및 인식기술을 개발하고 있었으므로 공격용 무기 개발과는 거리가 멀었다.

킬러로봇 반대 캠페인

UC 버클리대의 스튜어트 러셀(Stuart Russell)은 인간을 위한 안전하고 이로운 AI 시스템이 필요하며  AI기반의 살상 무기를 금지해야 한다고 강조한다. 그는 이미 “알고리듬을 기반으로 살상 행위가 자동화된다면 인류를 위협할 수 있다”고 경고했다. 휴먼 라이트 워치(Human Rights Watch) 등 시민 단체들은 인간의 통제가 없는 킬러 로봇은 금지하자는 국제 캠페인(Campaign to Stop Killer Robots)을 진행 중이다. 안토니오 구테흐스 유엔(UN) 사무총장도 “모든 국가가 무력 사용에 의미 있는 인간 통제를 유지하고, 완전한 자동화된 무기를 금지하여 인류를 구할 의무가 있다”는 주장을 지지한다.

그럼에도 불구하고 킬러 로봇의 규제가 유엔 군축실을 거쳐 국제조약으로 만들어지기란 쉽지 않을 전망이다. AI를 이용하여 군사적 우위를 차지하려는 국가간 경쟁이 치열하기 때문이다. 머신러닝, 알고리듬, 데이터 사이언스, 사이버 방어 등 신기술 경쟁은 국제 관계에 엄청난 압박과 긴장감을 자아내고 있다.

AI 개발 경쟁은 국가 안보와 직결되므로 킬러 로봇의 통제나 윤리는 뒷전으로 밀려나게 된다. AI 기술이 뒤쳐진 나라들은 ‘의미로운 인간 통제’를 주장하지만, 미국, 러시아, 호주는 반대한다. 중국은 공식적으로는 AI 전쟁에도 글로벌 규칙이 필요하며 강대국들이 AI 무기 시스템 개발을 자제해야 한다는 입장이다. 그러나 한편, 중국 업체들이 자동적으로 표적을 찾아내 공격하는 킬러 드론을 판매하고 있다는 점은 역설적이다. 

치명적 자율무기 시스템을 다룬 유엔군축연구소 보고서

AI 군비 경쟁

AI의 등장은 글로벌 패권 경쟁에서 일대 전환을 가져왔다. 군사 전략가들은 마치 화약의 발명이 중세시대 전쟁의 모습을 크게 바꾸었듯이, AI 기술은 미래 전쟁의 승패를 좌우할 것이라고 전망한다. 지난해, 영국 정부가 내놓은 국가 전략 백서는 미래 전쟁이 AI와 알고리듬으로 수행되고, AI 기술 분야에서 우위를 얻는 나라가 군사적 우위를 점할 것이라고 예상했다. 특히 무인 플랫폼의 역할이 중요하게 평가했다. 이처럼 국방 분야에서AI의 비중이 커지자 펜타곤은 AI 를 크게 강화하는 합동전투용 클라우드 역량(JWCC)을 구축하는 중이다.

알고리듬은 윤리적 전쟁법을 배울 수 있나?

스마트 머신들이 장악하는 전장에서는 공격 대상의 포착과 파괴는 자동적으로 진행된다. 드론을 원격으로 통제하는 인간조차 필요하지 않다면 인간 조종자가 무기 시스템에 직접 개입하는 human-in-the-loop방식은 human-out-of-the loop로 바뀔 것이다. 기술 윤리학자들이 강조하는 ‘의미 있는 인간 통제’는 바로 이 지점에서 인간의 통제를 여전히 유지해야만 한다는 제안이다.

그렇다면 자동화된 컴퓨터 알고리듬은 윤리적으로 전투하는 방법을 배울 수 있을까? 무력 충돌이 벌어져도 적대행위에 가담할 수 없는 사람들은 보호해야 한다는 국제인도법(IHL)을 킬러 로봇이 준수할 수 있을까?  또한 적군의 공격 위협이 임박한 경우에 이를 막을 다른 수단이 없을 경우를 정확하게 판단할 수 있을까?  위협에 비례하는 수준으로만 공격할 수 있을까? 적군이 항복하거나 심각한 부상을 입은 경우를 판단하여 공격을 멈출 수 있을까? 상황 판단의 실패는 과도한 무력 사용과 무차별적 살상으로 이어질 수 있다. 윤리적 판단은 알고리듬에게 맡길 수 없기 때문에 러셀은 언제나 ‘인간의 통제’가 유지되어야 한다고 주장한다.   

영화 ‘터미네이터2’에서는 AI가 제어하는 기계 군대가 인류를 끝장내려고 공격했지만, 현실에서는 국제 분쟁지역이나 내전에서 사용될 가능성이 높다. 2020년 아제르바이잔은 이스라엘제 하롭(Harop)드론과 터키제 바이락타르(Bayraktar) TB2드론을 사용하여 아르메니아의 전차들을 대거 파괴했다. 또한 리비아 내전에서도 정밀 타격 능력을 갖춘 KARGU-2 무인 드론들이 공중을 맴돌면서 퇴각하는 반정부군과 전투기를 공격하였다. 인간 조종자의 개입이 없이 목표물을 선택하고 죽이는 자율형 킬러 드론이 사용되자 유엔 안전보장 이사회는 인권 침해를 우려하는  공식 보고서를 작성했다.

자율형 킬러 드론

전략적 공격을 수행하는 자율형 킬러 드론(Autonomous Tactical Attack UAV)을 홍보하는 영상은 유튜브에 올라와 있다. 터키 방산업체 STM은 아무 거리낌 없이 킬러 드론들을 홍보하고 있다. 예를 들어, KARG 드론은 인간의 개입이 전혀 없이 공중을 맴돌면서 실시간으로  공격 목표물을 발견하고, 자동적으로 재빠르게 다이빙을 시작하여 몇 미터 앞에서 자폭하는 방식이다. 리비아에서 사용된 KARG-2는 상당한 윤리적 논란을 불러일으켰지만, 군사적 관점에서는 인간의 통제 없이 플랫폼에 내장된 머신러닝 학습 알고리즘으로 작동하는 자율 무기 시스템으로서 주목을 받았다.

익명의 펜타곤 관계자는 인간이 언제나 AI 무기를 통제하므로 윤리적 논란은 지나치게 부풀려져 있다고 주장한다. 현재로서는 인간의 개입이 전면적으로 배제된 ‘완전자율형 무기체계’는 없고 여전히 인간의 통제 하에 임무가 수행되고 있다는 것이다. 그러나 KARGU 같은 킬러 드론은 기존의 군사용 드론들처럼 인간 조종자가 원격으로 조종되기도 하지만 동시에 자율적 판단 능력(autonomous capability)도 갖추고 있다. 이처럼 듀얼 시스템을 갖춘 공격용 킬러 로봇의 경우에는 과연 인간 조종자가 개별 목표물을 공격하기 위한 최종 결정을 내렸는가를 외부에서는 알 수 없다는 맹점이 있다. 전문가들은 소형 킬러 드론 수백 여 대가 공격에 나선다면 인간이 직접 조종하기 보다 자율 공격 모드를 적용할 가능성이 높다고 본다. 

군사용 AI의 윤리 가이드라인

군사용 AI의 윤리 가이드라인

2021년 11월 미국 국방부는 ‘책임 있는 AI 윤리 가이드라인’을 내놓았다. 책무성, 공정성, 추적가능성, 신뢰성, 통제가능성이 그 핵심이다. 이 가이드라인은 펜타곤과 민간 기업 간의 AI 개발 계약에 적용된다. 앞으로 미국 국방부와AI프로젝트 개발용 계약을 맺기 원하는 제3 개발사들은 AI 윤리 가이드라인을 따라야만 한다. 그렇지만 어디까지나 미국 국방부가 발주하는 AI 개발 계약의 신뢰성과 투명성을 높이려고 만들어졌기 때문에 킬러 로봇의 윤리적 요소와 제한 등은 언급되지 않았다.

이에 앞서 2019년에 미국 국방부는 ‘군사용 윤리 전문가’ 까지 고용하여 교전시에 적용되는 AI 윤리 원칙(ethical principles)을 발표했었다. 그렇지만 별다른 내용이 없었기 때문에 생색내기용 윤리 세탁(ethics washing)이라는 평가를 받았었다. 예컨대 군사용 AI가 윤리적 모호성과 위험을 야기할 가능성은 인정했지만, ‘적절한 판단과 주의’, ‘인간의 관리와 통제’ 등 기본 사항만을 담고 있었을 뿐이다.

최근 대한민국 육군도 군사용 AI의 안전성을 확보하기 위해 윤리적 평가 요소의 마련에 착수했다. 만일 합리적인 윤리 기준이 AI 무기 시스템의 설계 단계부터 반영된다면 AI의 잘못된 상황 판단, 편향, 오남용 가능성을 미리 방지할 수 있을 전망이다.

유엔 안전보장이사회 보고서에 실린 공격용 무인 드론

AI시대의 오펜하이머들

이론물리학자 로버트 오펜하이머(Robert Oppenheimer)는 제2차 세계대전 무렵 로스앨러모스 비밀기지에서 ‘맨해튼 프로젝트’를 이끌었고 핵무기를 개발했다. 그러나 히로시마 핵폭발의 참상을 목격한 이후에 그는 핵무기 반대론자로 돌아섰다. 냉전시대를 맞아 핵개발 경쟁이 본격화 되자  오펜하이머는 반역자로 몰렸다. 그는 핵무기를 잔뜩 쌓아두기 원했던 펜타곤 관리들에게 외면을 받았다. 오펜하이머와 펜타곤 사이의 긴장감은 AI 군비 경쟁의 시대를 맞아 다시 재연되고 있다.

킬러 로봇의 위험성을 경고하는 인공지능 전문가 스튜어트 러셀은 AI 시대의 오펜하이머를 떠올리게 한다. 인간의 통제 없는 자율무기 시스템을 금지하자는 러셀의 호소는 공연히 대중들에게 불안감을 심어주는(fearmongering) 공상과학 이야기로 비웃음을 받기도 한다. 그러나 30개국이 금지 규제안을 지지하고 있고 로봇 윤리학자 알렌 윈필드(Alan Winfield), 엘론 머스크(Elon Musk)도 러셀과 같은 목소리를 내고 있다.

러셀은 인간 통제 없이 목표물을 선택하고 공격하는 로봇은 공상과학도 아니고 미래의 잠재적 악몽도 아니며 오늘날의 현실 문제라고 강조한다. 델프트 공과대학의 기술 윤리학자 필리포 산토니(Filippo Santoni)는 인터뷰에서 “우리가 해야만 하는 것은 자율적 AI 시스템의 전면적 금지가 아니라 통제할 수 없는 시스템의 사용을 금지하고, 통제 가능한 시스템을 위한 설계를 촉진하는 것이다”라고 말했다. AI 무기 시스템에 안전성과 윤리성이 구현되려면 구체적 요구분석이 시스템 설계에 반영되어야 한다. 예컨대, 판단 오류의 위험을 제거할 수 있는 감지 센서, 적절한 민감도 설정, 소프트웨어 기반 알고리듬 등 기술 솔루션이 뒷받침 되어야 한다.

로봇 전쟁의 장단점

조지아 공과대학의 로날드 아킨(Ronald Arkin)은 로봇 전쟁이 이미 현실이 되었다고 생각한다. 그는 AI와 로봇을 이용한 정밀화된 공격은 군사적 목표물만을 타격하기 때문에 불필요한 민간인 희생이나 오폭을 줄일 수 있으므로 오히려 인도주의적이라고 설명한다. 게다가AI는 방대한 영상 데이터를 신속하게 분석하여 판단을 하고, 인간처럼 분노 감정이나 좌절감에 휘둘리지 않는다. 만약 위협이 발견되면 인간보다 빠르게 대응할 수 있으며, 변장한 사람까지 식별이 가능하다.

그러나 한편, 자율형 킬러 로봇의 공격에 대하여는 누가 법적 책임을 져야 하는지 모호하기 때문에 오히려 남용되거나 더 많은 피해자들이 생겨날 수도 있다. 필리포 산토니는 AI 시스템도 역시 잘못된 판단을 내릴 수 있다고 지적한다. 알렌 윈필드도 “복잡한 환경에 놓인 로봇들은 제대로 작동하지 않고 실수를 저지른다”는 견해를 밝혔다. 전투 현장에서 직면하게 되는 복잡한 상황들 속에서 윤리적 선택을 내리기에는 AI 시스템의 현재 수준은 충분히 고도화되어 있지 않다. 윤리적 공백 상태에서 작동하는 전투용 킬러 로봇들은 국제적 협정들에 열거되어 있는 국제 인도법(IHL)을 무시하게 될 가능성이 높다.

* 이 글을 쓴 필자 최은창은 MIT 테크놀로지리뷰  편집위원이며, 옥스퍼드대 사회법 연구센터(Socio-Legal Studies)의 방문학자, 예일대 로스쿨의 정보사회프로젝트(ISP) 펠로우, 과학기술정책연구원(STEPI) 펠로우로서 연구했다.  저서로는『레이어 모델』,『가짜뉴스의 고고학』, 공저로는『인공지능 권력변환과 세계정치』,『인공지능 윤리와 거버넌스』 등이 있다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.