어쩌면 내일이 될지도 모르는 가까운 미래의 전쟁 상황. 군인 한 명이 비어있는 옥상에서 사격 자세를 취하고 있다. 그의 부대는 전투를 벌이며 도시 내부를 한 블록씩 전진하는 중이다. 지나는 곳곳마다 사격 준비를 마친 적군이 숨죽여 기다리고 있는 것만 같다. 

군인은 조준경으로 인근 건물의 창문을 살핀다. 발코니에는 세탁한 지 얼마 안 된 빨래가 걸려있다. 무전기에서는 부대가 노출된 지면을 가로질러 이동할 예정이라는 보고가 들린다. 그때, 조준경 왼쪽 상단에 빨간색 경계 상자가 나타난다. 조준경의 컴퓨터 비전 시스템이 창문에 비친 그림자를 탐지해 잠재적 목표로 설정한 것이다. 이 그림자는 마치 총을 쏘려는 것처럼 보인다. 

명확한 시야를 확보하지 못했지만, 군인은 경험을 통해 이 시스템이 적의 미세한 신호도 감지하는 놀라운 능력을 갖고 있음을 알고 있다. 그는 경계 상자의 정중앙을 조준하며 방아쇠를 당길 준비를 한다. 

이제 다른 전쟁 상황으로 장소를 옮겨 보자. 한 지휘관이 수많은 모니터 앞에 서 있다. 챗봇이 그에게 경고를 전한다. 도심 구역으로 트럭 하나가 진입했다는 내용이다. 이 구역은 적이 로켓 미사일을 발사할 가능성이 있는 곳이다. 챗봇은 이미 공격 성공률이 가장 높은 것으로 계산된 포병 부대에 이 트럭을 조준한 상태로 대기하라고 조언했다. 

챗봇은 근처에 민간 구조물은 없지만, 실제로 확인된 사실은 아니라고 덧붙였다. 더 자세히 살피기 위해 시스템이 배치한 드론이 현장에 도착한다. 드론은 두 건물 사이의 좁은 통로로 트럭이 후진하며 진입하는 영상을 보여준다. 발포가 가능한 기회가 빠르게 줄어들고 있다. 

지휘관 주변의 모든 것이 조용해졌다. 혼돈과 불확실성 사이, 소음이 모두 사라지고 시계의 똑딱거림과 빛나는 버튼만이 남았다. 

“발포 승인”

방아쇠를 당길 것인가, 말 것인가? 버튼을 누를 것인가, 말 것인가? 이처럼 생사가 걸린 문제에서 군인의 결정은 법적, 윤리적으로 매우 중요하고 필수적이다. 이러한 결정들이 근본적으로 전쟁에서의 인간의 행위를 정의한다. 

따라서 지능형 자율 무기, 즉 인간의 개입 없이 목표를 선택하고 공격할 수 있는 무기가 국가와 시민 사회의 심각한 우려로 떠오른 것은 놀랄 일이 아니다. 지난 5월, 유엔(UN)의 특정 재래식무기 금지협약(Convention on Certain Conventional Weapons)의 당사국들은 거의 10년간의 논의 끝에 이러한 무기를 사용하는 군대가 전쟁법 준수를 위해 ‘작전 기간과 지리적 범위, 작전 규모를 제한’할 필요가 있다는 부분에 동의했다. 구속력은 없지만, 적어도 죽음을 초래하는 어떤 과정에서는 인간이 언제 어디서나 그 역할을 수행해야 한다는 점을 인정한 것이다. 

인간의 의사결정을 완전히 대체하는 지능형 자율 무기는 (아마도) 아직 실전에서 사용된 적이 없다. 미국을 포함한 강대국들이 개발한 ‘자율주행’ 드론과 선박조차 인간의 감독하에 사용된다. 한편, 방아쇠를 당기는 데 필요한 정보를 제공하는 지능형 시스템은 전쟁 도구로서 인기가 증가하고 있다. 이러한 시스템은 갈수록 정교해지며 새로운 문제를 야기하고 있다. 익히 알려진 킬러 로봇에 대한 논쟁보다 해결하기 더 까다로울 뿐만 아니라, 시간이 지날수록 문제의 시급성도 더해지고 있다. 전쟁에서의 의사결정이 일부는 인간, 일부는 기계에 의해 이뤄진다는 것은 무엇을 의미할까? 만약 그 의사결정이 사람을 죽이는 것이라면 어떤 상황에서 윤리적으로 허용될 수 있을까? 

컴퓨터화된 수단으로 인간의 의사결정을 지원하는 데에는 오랫동안 논란의 여지가 없었다. 퇴역한 공군 중장 잭 섀너핸(Jack Shanahan)은 1980년대에 그가 탑승했던 F4 팬텀 전투기에서 레이더가 일종의 결정 지원 역할을 했다고 설명한다. 레이더는 다른 전투기가 나타나면 경고를 보냈고 어떻게 대응할지 판단을 내릴 수 있게 했다. 그러나 조종사와 레이더가 동등한 책임을 가지고 있다고는 볼 수 없다. 

이제 모든 것이 바뀌기 시작했다. 섀너핸은 “지금 우리는, 적어도 내가 이해하기로는 인간과 기계가 한 팀이 되는 세상으로의 전환을 목도하고 있다”라고 말했다. 

특히 머신러닝 기술의 출현은 군대가 컴퓨터를 사용하는 방식에 대한 패러다임의 변화를 가져왔다. 머신러닝의 사용 범위는 전쟁에서의 중요한 결정, 심지어 최종 결정까지 넓어질 수 있다. 섀너핸은 드론이 촬영한 영상의 목표 인식 알고리즘을 개발하는 미국 국방부 ‘프로젝트 메이븐(Project Maven)’의 첫 책임자였다. ‘딥러닝 알고리즘이 인간과 유사한 수준으로 작업을 수행할 수 있다’는 연구 결과가 나온 후인 2017년부터 시작된 프로젝트 메이븐은 미국의 군사용 AI 시스템의 새 시대를 열었다. (이 프로젝트는 2018년 3천 명 이상의 구글 직원들이 구글의 프로젝트 참여를 반대하는 항의서에 서명하여 논란이 되기도 했다)

미국 국방고등연구계획국(Defense Advanced Research Projects Agency, 이하 ‘DARPA’)의 정보혁신사무소 부소장 맷 투렉(Matt Turek)은 머신러닝 기반의 의사결정 도구는 이전 도구에 비해 “확실하게 역량을 높이고 임무 수행의 폭도 넓혀준다”라고 설명한다. “결과적으로 더 많은 의사결정을 이러한 도구에 넘기게 될 것”이라고 그는 덧붙였다. 

예를 들어, 적 저격수를 찾는 군인은 이스라엘 방산회사 엘빗 시스템즈(Elbit Systems)가 개발한 ‘돌격용 소총 전투 적용 시스템(Assault Rifle Combat Application System, ARCAS)’ 조준경을 사용할 수 있다. 회사의 사양서에 따르면 ‘AI로 구동되는’ 이 장치는 600야드(약 549미터) 이상의 거리에서 ‘인간 표적 탐지’가 가능하고, 축구장 길이 정도의 거리에서 인간 표적 ‘식별’(저격 가능 여부를 판단하는 것으로 추정됨)이 가능하다. 엘빗 시스템즈의 대변인 안나 아론하임-코헨(Anna Ahronheim-Cohen)은 “이 시스템이 보병대의 실전 전투를 통해 이미 테스트를 마쳤다”라고 강조했다. 

스마트슈터(Smartshooter)라는 회사가 개발한 조준경도 유사한 기능을 광고한다. 회사의 웹사이트에 따르면, 이 조준경은 2021년 이스라엘 정부 요원들이 이란의 핵 과학자 모센 파크리자데(Mohsen Fakhrizadeh)를 암살하는 데 사용했던 것과 같은 원격 조종 기관총에도 사용할 수 있다. 

전장에서 멀리 떨어진 곳에 있는 의사결정 지원 도구도 중요한 역할을 수행할 수 있다. 미국 국방부는 공격으로 연결되는 정보 분석 및 의사결정 과정인 ‘킬 체인(kill chain)’에 AI를 사용하는 것으로 보이나, 자세한 내용은 함구하고 있다. 공군 대변인 로라 맥앤드류스(Laura McAndrews)는 본지의 질문에 “공군은 인간과 기계가 팀을 이루는 접근법을 활용하고 있다”라고 답변했다. 

군사적 의사결정으로 연결되는 판단의 범위는 매우 넓다. 그리고 그 판단을 내리는 데 항상 자동화 수단을 갖춘 초(超)인공지능이 필요한 것은 아니다. 

다른 국가들은 더 공개적으로 자동화 기술을 실험하고 있다. 2021년 이스라엘-팔레스타인 분쟁 직후, 이스라엘 방위군은 군대에 임박한 공격을 예고하고 작전 대상을 제안하는 AI 도구를 사용했다고 밝혔다. 

우크라이나 군대는 ‘GIS 아르타(GIS Arta)’라는 프로그램을 사용한다. 이 프로그램은 전장 곳곳의 러시아 군대와 이들을 공격할 수 있는 가장 적합한 장소에 있다고 알고리즘이 계산한 자국의 포병 부대를 서로 연결한다. 영국 일간지 <더 타임스(The Times)>는 이 프로그램을 운전자와 탑승자를 연결하는 우버의 알고리즘에 비유하며, 목표물의 탐지에서 포격까지 이르는 시간이 크게 줄었다고 보도했다. 우크라이나 군대가 GIS 아르타를 도입하기 전까지 목표물 탐지에서 포격까지 20분이 소요되었지만, 지금은 1분이면 충분하다고 한다. 

러시아도 AI라고 부를 수 있는 자체적인 명령 및 제어 시스템을 갖추고 있다고 주장하지만, 기술적인 세부사항은 거의 공개하지 않았다. 와드와니 AI 및 첨단 기술 센터(Wadhwani Center for AI and Advanced Technologies)의 책임자이자 미국 국방부의 현 AI 정책 설계자인 그레고리 알렌(Gregory Allen)은 그들의 주장을 의심해 볼 필요가 있다고 말한다. 알렌은 러시아의 군사용 AI 중 일부는 “오랫동안 대중적으로 사용되어 온 것”이고, GIS 아르타 또한 “기존에 존재하던 소프트웨어에 불과하다”라고 평가했다. 

군사적 의사결정으로 연결되는 판단의 범위는 매우 넓다. 그리고 그 판단을 내리는 데 항상 자동화 수단을 갖춘 초(超)인공지능이 필요한 것은 아니다. 적 부대의 움직임을 예측하는 도구, 주어진 목표를 제거하는 방법을 찾는 도구, 근처의 민간인에게 발생할 수 있는 부차적인 피해의 규모를 추정하는 도구 등이 이미 존재한다. 

이러한 도구 중 무엇도 킬러 로봇이라고 할 수 없지만, 전혀 위험하지 않은 것은 아니다. 복잡한 컴퓨터와 마찬가지로 AI 기반 도구는 특이하고 예상치 못한 방식으로 오류가 발생할 수 있다. 따라서 관계자들의 화면에 표시된 답이 항상 올바른지, 또는 틀렸는지 조차 명확하지 않다. AI는 끊임없이 효율성을 추구하기 때문에, 인간이 옳고 그름을 판단할 수 있는 충분한 시간과 여지를 남겨두지 않을지도 모른다. 때로는 전쟁으로 모든 것을 잃을 수 있는 극단적인 수준에서 임무를 수행할 가능성도 있다. 

오늘날 군대는 AI를 통해 개별 도구들을 단일화된 하나의 자동화 네트워크로 연결하려 한다. 즉, 모든 무기와 지휘관, 병사를 서로 연결하는 것이다. 미국 국방부는 이를 킬 체인 대신 ‘킬 웹(kill web)’이라고 부르기 시작했다.  

킬 웹에서는 인간의 결정이 많은 부분을 차지할지 확실하지 않다. 이스라엘의 거대 방산회사인 라파엘(Rafael)은 이러한 종류의 제품인 ‘파이어 위버(Fire Weaver)’를 이스라엘 방위군에 납품했고 미 국방부와 독일군에도 시연했다. 회사의 자료에 따르면, 파이어 위버는 적의 위치를 찾아 공격하기 가장 좋은 위치를 계산해 알려주며, 심지어 그 부대의 무기 조준경에 직접 목표물을 설정해 준다. 소프트웨어의 시연영상에서 인간의 역할은 ‘승인’과 ‘중단’ 중 하나의 버튼을 누르는 것뿐이다. 

이제 첫 번째 전쟁 상황으로 돌아가, 창문에 비친 그림자가 군인이 아닌 어린아이라고 가정해 보자. 그리고 트럭이 싣고 있던 것이 적의 탄두가 아닌 집으로 배달하는 물통이었다고 생각해 보자.

미국 국방부가 제정한 ‘AI 윤리 원칙’ 5가지에서 항상 첫 번째로 언급되는 것이 ‘책임감’이다. 실제로 문제가 생겼을 때 기계가 아닌 인간이 책임을 져야 한다는 내용이다. 

물론 책임감의 원칙은 AI가 등장하기 전부터 존재했다. 전장에서의 모든 행동은 항상 누군가에 의한 것이라는 공통의 이해가 없다면, 전쟁의 모든 법과 관습은 무의미해질 것이다. 그러나 이제 컴퓨터가 그 역할을 맡게 될 것으로 예상되면서, 이 오래된 원칙에 새로운 변화가 일어나고 있다. 

미국 국방부의 ‘AI의 윤리적 원칙’ 5가지에서 항상 첫 번째로 언급되는 것이 ‘책임감’이다.

섀너핸은 “나를 비롯한 군 지휘관 대부분의 정체성의 핵심은 결국 ‘책임을 지는 사람’이라는 것이었다”라고 말했다. 섀너핸은 프로젝트 메이븐 이후 국방부의 합동 AI 센터(Joint Artificial Intelligence Center)의 첫 번째 책임자가 되었고 AI 윤리 원칙의 제정 과정을 지휘했다. 

이것이 인간의 손으로 방아쇠를 당기거나 ‘승인’ 버튼을 눌러야 하는 이유다. 컴퓨터가 목표물을 잘못 설정했는데 군인이 방아쇠를 당긴다면, 그 책임은 군인에게 있다. 섀너핸은 “인간이 기계를 사용하면서 사고로 이어지는 어떤 행동을 한다면, 예를 들어 있어서는 안 될 곳에 무기를 떨어뜨린다면 이는 여전히 인간이 내린 결정이라고 할 수 있다”라고 덧붙였다. 

그러나 사고는 항상 일어나고 문제는 더욱 까다로워지고 있다. 현대의 군대는 지난 수백 년 동안 전쟁에서의 불가피하고 죄 없는 비극을 악의적인 의도, 잘못된 방향의 분노, 심각한 부주의로부터 구분하는 방법을 찾아 왔다. 이는 지금도 여전히 어려운 과제로 남아 있다. 팔란티어(Palantir)의 개인정보 보호 및 시민 자유 공학 글로벌 책임자 코트니 보우먼(Courtney Bowman)은 수학적 최적화 원리로 구축된 알고리즘에 인간의 행위와 판단의 일부를 맡기는 것은 모든 법과 원칙에 근본적으로 도전하는 것이라고 지적했다. 팔란티어는 군대, 정부, 대기업을 위한 데이터 관리 소프트웨어를 개발하는 미국의 회사다. 

보우먼은 “알고리즘으로 인해 기존의 원칙에 균열이 가고 있고 그 영향력은 파괴적이다”라며, “건전한 결정을 내릴 수 있는 새로운 윤리적 구조가 필요하다”라고 말했다. 

챗GPT의 피할 수 없는 흐름에 따라, 올해 팔란티어는 회사의 군용 제품에 대형 언어모델을 통합한 ‘AI 플랫폼(Artificial Intelligence Platform, 이하 ‘AIP’)’이라는 소프트웨어를 개발하고 있다고 밝혔다. 올해 봄 유튜브에 게시된 시연영상에서 AIP는 사용자에게 잠재적인 위협이 될 수 있는 적의 움직임을 경고한다. 그리고 드론을 보내 상황을 가까이서 살펴볼 것을 제안하고, 적을 공격하기 위한 3가지 계획을 제시할 뿐만 아니라, 선택된 공격팀에게 적에게 도달할 수 있는 최적의 경로까지 제공한다. 

그러나 이렇게 명석해 보이는 기계가 있다고 해도, 군대는 사용자가 그 모든 제안을 무턱대고 믿길 원하지 않을 것이다. 2019년 미국 국방부의 전쟁 시뮬레이션에서 한 육군 지휘관이 우려한 것처럼, 인간이 킬 체인에서 하나의 버튼만 누를 수 있다면 그것은 ‘신뢰’ 버튼이 되어서는 안 된다. 

DARPA는 ‘자율감독을 통한 도시정찰(Urban Reconnaissance through Supervised Autonomy, 이하 ‘URSA’)’이라는 프로그램을 통해 로봇과 드론이 도심의 군사 작전에서 부대의 전방 관찰자 역할을 수행할 수 있는 시스템을 구축했다. DARPA는 프로젝트 자문단으로부터 윤리 및 법적 문제에 대한 의견을 받은 후, 이 소프트웨어에서 사람들을 ‘관심 대상’으로만 지정하기로 결정했다. 비록 이 기술의 목적이 적의 매복을 찾아내는 것일지라도, 누구도 ‘위협 대상’으로 규정하지는 않을 것이다. 

이는 군인들이 잘못된 결정을 내리지 않게 하려는 의도다. 자문단을 이끈 국방분석연구소(Institute for Defense Analyses)의 외래 연구직원 브라이언 윌리엄스(Brian Williams)는 DARPA의 결정에 법적 논리가 있다고 말한다. 지금까지 어떤 법원도 기계가 사람을 위협으로 지정하는 것을 합법이라 주장한 적이 없다. (그러나 불법이라고 구체화한 법원도 없으며, 모든 군 지휘관이 자문단의 법 해석을 고려하지도 않을 것임을 그는 인정했다) 윌리엄스는 DARPA는 원래 URSA가 사람의 의도를 자율적으로 판단하도록 하려 했지만, 이 기능 역시 자문단의 요청으로 폐기했다고 덧붙였다. 

보우먼은 팔란티어가 “의사결정 과정에서 속도를 늦추고 싶은 시점”에 일부러 “공학적 비효율성”을 적용한다고 말했다. 예를 들어, 적의 움직임을 경고하는 시스템은 사용자가 행동에 옮기기 전에 확증할 수 있는 두 번째 정보 출처를 찾도록 요구할 수도 있다. (AIP의 시연영상에는 이 기능이 없는 것 같다)

“관찰 대상자가 화면의 빨간 점으로 표시된다면, 행복한 얼굴로 표시되는 것과는 무의식적인 차원에서 다른 영향을 미칠 것이다”

리치먼드 대학교 법학 교수, 레베카 크루토프

보우먼은 AIP의 목표가 “사용자나 분석가로 하여금 시스템이 제시하는 정보를 단순한 제안으로 이해하도록 하는 것”이라고 말했다. 미묘하게 똑똑한 기계에 현혹되지 않도록 인간의 판단을 보호하는 일은 그래픽 디자인의 작은 요소에 달려 있을지도 모른다. 리치먼드 대학교의 법학 교수인 레베카 크루토프(Rebecca Crootof)는 “관찰 대상자가 화면의 빨간 점으로 표시되면, 행복한 얼굴로 표시되는 것과는 무의식적으로 다른 영향을 줄 것이다”라고 말한다. 크루토프 교수는 인간이 개입하는 자율 무기의 책임성 문제에 대해 광범위하게 연구해 왔다. 

어떤 상황에서는 군인들이 ‘신뢰’ 버튼만 누르길 원할지도 모른다. DARPA는 원래 URSA를 최전방의 군인들이 손목에 착용할 수 있는 장치로 고안했다. 윌리엄스는 “첫 번째 실무 회의에서 그것이 바람직하지 않다는 의견이 나왔다”라고 말했다. 책임감 있는 사용을 위한 공학적 비효율성은 총알이 난무하는 전장의 군인들에게는 실용적이지 못할 것이다. 따라서 DARPA는 URSA를 전장에서 벗어나 전담자가 작동하는 컴퓨터 시스템으로 개발했다. 

그러나 현장에서 일어나는 몇 초 단위의 의사결정을 위해 설계된 의사결정 시스템도 있다. 미 육군은 실시간 테스트에서 기존에 20분이 걸리던 표적 주기를 20초로 단축하는 데 성공했다고 밝혔다. 방산업계도 마찬가지로 공학적 비효율성을 고려하는 것 같지 않다. 엘빗 시스템즈와 스마트슈터가 온라인에 게시한 시연영상에서 컴퓨터화된 조준경의 경계 상자는 피처럼 붉은색을 띄고 있다. 

때로는 컴퓨터가 맞고 인간이 틀릴 수도 있다. 

만약 옥상의 군인이 조준경을 믿지 않았고 창문에 비친 그림자가 실제로 적의 저격수였다면? 그의 동료들은 순간의 망설임으로 인해 무거운 대가를 치르게 될 것이다. 

이 문제는 자주 논의되진 않지만, 실제 전투에서는 일어날 가능성이 있다. 그리고 인간은 상당히 곤란한 상황에 처하게 된다. 군인들은 자체적인 판단의 영역을 지키기 위해 디지털 보조기기를 어느 정도 불신하라는 지시를 받을 것이다. 그러나 때때로 기계가 옳을 경우, 그 불신에서 나오는 망설임은 실패로 연결될 수 있다. 

항공 역사에서는 조종사가 기계의 경고를 무시해 재앙이 된 사례가 적지 않다. 그리고 사고 조사원들은 그들을(보통 사망한 상태다) 그리 달갑게 보지 않는다. 카네기멜런 대학교 소프트웨어 공학 연구소의 수석 과학자 캐롤 J. 스미스(Carol J. Smith)는 이것이 문제라고 생각하지 않는다. 그녀는 미국 국방부 방위혁신사업부의 AI 지침 제정에 참여한 인물이다. “만약 그 순간의 결정이 잘못되었다고 생각한다면 그 판단과 결과도 자신이 감내해야 할 것이다”라고 스미스는 강조했다. 

어떤 이들에게 이것은 악랄한 윤리적 난제다. 학자인 M.C. 엘리시(M.C. Elish)는 빠져나올 수 없는 루프에 갇힌 인간은 결국 ‘도덕적 크럼플 존’의 역할을 하게 될 것이라고 말한다. (크럼플 존: 차량 충돌 시 먼저 찌그러지면서 충격을 완화하는 부분) 어떤 사고가 발생했을 때 사람이 틀렸든, 컴퓨터가 틀렸든, 아니면 둘 다 틀렸든 간에 ‘결정’을 내린 사람이 오롯이 비난을 받고 명령 체계에 따른 모든 사람을 책임의 영향에서 보호하는 현상이 일어날 수 있다. 

스미스는 에세이에서 “가장 낮은 급여를 받는 사람에게 책임이 돌아가선 안 되며 가장 높은 급여를 받는 사람도 마찬가지다”라고 썼다. 책임은 관련된 모든 사람에게 분산되어야 하고 AI의 도입으로 인해 그 원칙이 바뀌어서는 안 된다고 그녀는 강조했다. 

말은 쉽게 들리지만 현실은 쉽지 않다. 크루토프는 지금도 “전쟁에서 일어난 사고에 대해서는 거의 책임이 돌아가지 않는다”라고 지적했다. AI 도구가 더 크고 복잡해지고 있고, 킬 체인은 더 짧아져 킬 웹의 형태로 변화함에 따라, 책임을 질 사람을 찾는 것은 더욱 미로 같은 작업이 될 것이다. 

AI 도구의 개발자들과 그 회사가 책임을 질 가능성은 거의 없다. AI 소프트웨어 개발은 길고 반복적인 과정으로, 종종 오픈소스 코드를 가져와 개발하기도 한다. 오픈소스 코드는 금속이 살을 뚫는 전장과는 거리가 먼 곳에서 개발된다. 크루토프는 미국의 법에 큰 변화가 없는 한 방산업체는 책임에서 보통 보호받는다고 설명했다. 

상위 지휘부에 책임을 묻는다 해도 AI 의사결정 도구와 그 사용 방식을 은폐하려는 정부 기관들에 의해 어려움을 겪을 가능성이 높다. 미 공군은 AI의 실전 사용 여부를 확실히 밝히지 않고 있다. 섀너핸은 프로젝트 메이븐이 개시된 후 바로 정보 분석을 위해 AI 모델이 배치되었다고 말했고, 2021년 공군 장관은 “AI 알고리즘”이 최근 “실전 킬 체인 작전에 최초로 적용되었다”고 밝혔다. 당시 공군 대변인도 AI 도구들을 전 세계의 정보 센터에서 “필요할 때마다 사용할 수 있다”고 덧붙였다. 그러나 현 공군 대변인인 로라 맥앤드류스는 이러한 알고리즘이 “실전 킬 체인 작전에 적용되지 않았다”라고 말을 바꿨고, 다른 알고리즘이 사용되었는지 등 자세한 내용은 언급하길 거부했다.  

진실은 앞으로도 계속 숨겨질지도 모른다. 2018년 미국 국방부는 정보공개 대상에서 프로젝트 메이븐을 제외하겠다는 결정을 내렸다. 그리고 지난해 미국의 방대한 규모의 비밀 항공 감시를 담당하는 국립지리정보국(National Geospatial-Intelligence Agency, 이하 NGA)에 전체 프로그램을 이관했다. AI 알고리즘이 킬 체인에 사용되는지 묻는 본지의 질문에 NGA 대변인인 로빈 브룩스(Robbin Brooks)는 “프로젝트 메이븐이 어디서 어떻게 사용되고 있는지 구체적으로 밝힐 수 없다”라고 대답했다. 

어떤 의미에서 이러한 상황은 새롭지 않다. 우리는 안전, 실제로는 우리 종의 존재 자체를 다른 사람들의 결정에 맡기고 있기 때문이다. 그리고 그 의사결정자들은 자신들도 완전히 이해하지 못하는 기계에 결정을 의존하고 있다. 

2018년, 군사 작전에 AI 의사결정 지원 도구를 거의 사용하지 않았던 시절 전 해군 장관 리차드 댄지그(Richard Danzig)가 자동화에 대한 에세이를 썼다. 그는 대통령이 핵 공격을 ‘결정’한다면 그 이유는 집무실 창밖으로 적의 미사일이 수도에 쏟아지는 장면을 봐서 그런 것이 아니라, 그 미사일이 방공 네트워크의 알고리즘에 의해 탐지 및 식별되었기 때문일 것이라고 설명했다. 

댄지그는 챗봇의 조언에 따라 발포 명령을 내리는 지휘관이든, 빨간색 경계 상자만 보고 방아쇠를 당기는 소총수든, “대부분의 경우 사람이 연관되어 있다”라고 썼다. 

이어서 “현대 사회에서는 흔한 상황이다. 인간 의사결정자는 자신이 타고 있는 짐승이 얼마나 강력한지도 모른 채 미지의 지역을 지나는 여행자나 다름없다”라고 그는 지적했다.  

이러한 짐승들이 결국 우리를 해치지 않도록 책임지는 사람들은 놀라울 정도로 패배주의에 빠져 있었다. 이 기사를 작성하면서 대화를 나눈 한 상대는 죽음과 파괴는 비극적이지만 불가피하며, 받아들일 수밖에 없다고 말했다. 전쟁은 혼란스럽고 기술은 예측할 수 없는 방향으로 실패할 뿐이다. 

팔란티어의 보우먼은 “전투에서 AI를 비롯한 모든 기술을 적용할 때는 어느 정도 해가 될 수 있음을 받아들여야 한다. 기술의 목적은 위험을 줄이는 것이다”라고 말했다. 

옹호자들은 AI를 전투에 도입하면 민간인 사상자가 줄어들 수 있다고 주장하지만 이들의 주장은 아직 입증되지 않았다. 그러나 전쟁의 극단적인 순간에 인간의 판단과 수학적 추론을 불가역적으로 결합하면 숨겨진 비용이 발생할 수 있다. 그 비용은 절대 단순하지 않고 최소한의 공리의 선을 넘어선다. 우버 앱에서 차량을 호출하는 방식으로 사람의 사망 시간과 방식을 선택하는 것은 옳지 않고, 옳아서도 안 된다. 

이는 기계에게는 차선의 논리겠지만 일부 인간에게는 매우 중요한 것이다. 랭커스터 대학교의 인류학 명예 교수 루시 서치먼(Lucy Suchman)은 “인간의 능력인 판단은 열린 세계에서 이뤄진다는 특성이 있다”라고 말한다. 서치먼은 지난 40년 동안 인간-기계 상호작용의 딜레마를 연구해 왔다. 

그녀는 생사를 결정하는 매개변수(창문에 걸려있는 새 빨래의 의미를 아는 것과 부대원들이 죽지 않기를 바라는 것)는 “정성적이고 수치화할 수 없다”고 설명했다. 혼돈과 소음, 불확실성, 분노가 가득한 전장에서의 옳고 그름의 척도는 알고리즘 용어로 정의할 수 없다. 생사가 걸린 문제에서는 완벽한 수학적 결과를 도출할 수 없다. 서치먼은 “판단을 내리는 것은 자신이며, 판단에는 도덕적인 책임이 수반된다”라고 강조했다. 

조준경은 스스로 방아쇠를 당기지 않는다. 챗봇도 스스로 버튼을 누르지 않는다. 그러나 기계가 인간의 생사에 관련된 새로운 역할을 맡을 때마다 살인이 기계의 역할이 되고, 윤리가 수학적 공식으로 바뀌며, 책임은 더 추상적인 형태로 변하게 될 것이다. 이러한 방식으로 기계가 세상을 바꾸게 두지 않으려면 조만간 우리는 자신에게 이 질문을 던져야 할 것이다. “적당한 선은 어느 정도인가?”

이 글을 쓴 아서 홀란드 미첼(Arthur Holland Michel)은 스페인 바르셀로나를 기반으로 미국 뉴욕에서도 활동하고 있는 기술 분야 작가다.