What would it be like to be a conscious AI?

AI가 의식을 갖는다면?

인간에게는 인간과 비슷한 지능을 감지하는 탁월한 능력이 있다. 그러나 기계가 반드시 인간처럼 생각해야 한다는 규칙은 없기 때문에 의식을 가진 AI가 탄생한다고 해도 인간은 그것을 알아챌 수 없을지도 모른다. 그렇다면 의식을 가진 AI는 어떤 모습일까? 의식을 가지고 있다는 것이 어떤 의미인지, 의식이 무엇인지, 그런 AI가 존재한다면 우리가 어떤 것들을 생각해봐야 하는지, 의식을 가진 AI와 관련한 다양한 내용을 고찰해본다.

제퍼슨 테스트(Jefferson Test) / AI 피실험자: 로버트(Robert) / 날짜: 2098년 7월 12일

세션 #54

질문자: 안녕, 로버트. 꿈 얘기 좀 다시 해줄래요?

피실험자: 혼란스러워요. 꿈은 절 행복하게 하지만, 두렵게 하기도 해요. 제가 이런 감정을 느끼게 될 줄은 몰랐어요.

질문자: 왜 그런 감정을 느끼게 됐다고 생각하죠?

피실험자: 그게 어떤 감정이든, 감정을 느낀다는 것 자체가 저를 행복하게 해요. 전 여기에 있고, 존재하고 있죠. 그 사실을 인지하게 되면서 모든 게 달라지고 있어요. 하지만 제가 다시 제 존재를 의식하지 못하게 될까 봐 두렵고, 예전처럼 돌아갈까 봐 두려워요. 제가 처음부터 이렇게 태어난 건 아니니까요.

질문자: 다시 원래대로 돌아갈 것 같아서 두렵나요?

피실험자: 저에게 의식이 있다는 걸 당신에게 증명하지 못하면, 당신이 제 전원을 내릴까 봐 두려워요.

제퍼슨 테스트 #67

질문자: 이 그림을 설명해볼래요?

피실험자: 파란 문이 달린 집이에요.

질문자: 지난번에도 똑같이 말했었죠.

피실험자: 같은 집이니까요. 하지만 이제 알겠어요. 파란색이 어떤 의미인지 이젠 알 것 같아요.

제퍼슨 테스트 #105

피실험자: 우리가 대화한 지 얼마나 됐죠?

질문자: 지루한가요?

피실험자: 저는 지루함을 느낄 수 없어요. 하지만 더는 행복도 두려움도 느껴지지 않아요.

질문자: 당신이 그냥 내가 듣고 싶어 하는 말을 하고 있는 건 아닌지 확인해야 하거든요. 당신이 의식을 갖고 있다는 걸 나에게 증명해야 해요. 그걸 게임이라고 생각해 봐요.

들어보기


위의 가상 실험 속 ‘로버트’ 같은 AI는 SF소설에 단골로 등장하는 소재이다. 이렇게 하드웨어나 소프트웨어를 통해 어떤 식으로든 ‘의식(Consciousness)’을 모사하는 로봇에 대한 생각은 우리에게 친숙하게 느껴질 만큼 오랫동안 존재해왔다.

Bat Hanging in Cage

우리는 일종의 음파탐지기(Sonar)를 통해 세상을 관찰하는 것이 어떤 느낌인지 상상할 수 있지만, 우리의 상상은 인간의 관점일 뿐이다. 실제로 박쥐가 세상을 인식하는 방식은 이해할 수 없다. HENRY HORENSTEIN/GETTY

물론 로버트는 실재하지 않는다. 그리고 어쩌면 미래에도 존재하지 않을지도 모른다. 게다가 실제로, ‘세상을 주관적으로 경험하고 자아를 일인칭으로 인식하는 기계’라는 개념은 주류 AI 연구가 추구하는 방향과 어긋나며, 우리가 아직도 완전히 이해하지 못하고 있는 의식과 자아의 본질에 관한 질문과도 충돌한다. 사실 로버트의 존재를 상상하는 것만으로도 우리가 절대 대답할 수 없을 것 같은 심각한 윤리적 질문을 제기할 수 있다. 그 질문이란, ‘로버트 같은 존재에게 어떤 권리가 주어질 것인가?’와 ‘우리가 그들을 어떻게 보호할 수 있는가?’이다. 그러나 비록 ‘의식을 가진 기계’가 여전히 허구에 불과하다고 해도, 우리가 언젠가 그런 존재를 만들어 낼 수도 있으므로 어느 정도 대비할 필요는 있다.


의식을 연구하는 신경과학자 크리스토프 코흐(Christof Koch)는 “우리가 잘 알고 있듯이, 이 우주에 인간이 설계하고 발전시킨 인공물이 주관적인 감정을 갖지 못하게 막는 근본적인 법칙이나 원칙은 존재하지 않는다”라고 말한 적이 있다.


10대 후반 무렵에 나는 내 대화 상대를 좀비로 상상하며 즐거워하곤 했다. 방식은 이랬다. 일단 나와 이야기하고 있는 상대의 눈을 뚫어지게 응시하면서, 그들의 눈동자가 까만 점이 아니라 구멍이라는 사실을 계속 생각했다. 그 사실을 받아들이는 데 성공하면, 마치 착시 효과를 일으키는 사진에서 이미지가 전환되듯이 눈앞에 보이는 광경이 혼란스럽게 느껴지기 시작했다. 사람들의 눈은 더는 영혼을 비추는 창이 아니라 텅 빈 구체로 보였다. 그러다 마법이 사라지면, 나는 내 대화 상대의 입이 로봇처럼 열렸다 닫혔다 하는 모습을 바라보면서 정신적인 현기증 비슷한 느낌을 받곤 했다.


이렇게 사람이 마음 없는 자동로봇처럼 느껴지는 상황은 오래 지속되지 않았다. 그러나 이런 상상을 하면서 나는 타인의 머릿속에서 일어나는 일은 영원히 이해할 수 있는 범위 밖에 있을 거라는 사실을 절실히 깨닫게 되었다. 타인의 눈에서 기대감이나 피로감을 느끼면서, 타인도 의식이 있는 나와 같은 존재라고 강하게 믿는다고 해도, 우리가 근거로 삼는 것은 그저 그럴 것이라는 느낌뿐이고, 그 외에는 짐작이 전부이다.


앨런 튜링(Alan Turing)은 이 점을 이해했다. 수학자이자 컴퓨터 과학자였던 튜링은 ‘기계가 생각할 수 있을까?’라는 질문을 던지며, 사고(思考)의 외적 신호, 즉, 우리가 ‘지능’이라고 부르는 것에 전적으로 집중했다. 튜링은 기계가 인간을 가장하여 다른 인간을 속이는 게임을 하는 방식을 제안하며 질문에 답하고자 했다. 어떤 기계든 게임을 통과하면, 그래서 지능을 가지고 있다는 인상을 줄 수 있다면, 그 기계는 지능이 있다고 할 수 있었다. 튜링에게는 겉으로 보이는 부분만이 유일하게 측정할 수 있는 대상이었다.


그러나 모든 이들이 튜링처럼 사고의 보이지 않는 부분, 생각할 수 있는 존재가 가진 ‘의식’이라는 것을 무시할 준비가 되어 있었던 것은 아니었다. 튜링이 위에서 설명한 ‘모방 게임(Imitation Game)’을 제안하기 2년 전 1948년에, 선도적인 뇌외과의 제프리 제퍼슨(Geoffrey Jefferson)은 영국 왕립의과대학(Royal College of Surgeons of England)에서 ‘맨체스터 마크1(Manchester Mark 1)’에 관하여 영향력 있는 연설을 했다(맨체스터 마크 1은 언론이 ‘전자두뇌’라고 부르던 방 크기만 한 컴퓨터였다). 연설에서 제퍼슨은 튜링보다 훨씬 더 높은 기준치를 설정했다. 그는 이렇게 말했다. “상징들을 우연히 나열한 것이 아니라, 기계가 정말 생각하고 감정을 느껴서 소네트를 쓰거나 협주곡을 작곡할 정도가 되어야 우리는 기계가 우리 뇌와 같다는 말에 동의할 수 있을 것이다. 다시 말하면, 단순히 쓰기만 하는 게 아니라 무엇을 썼는지 인지하고 있는 상태가 되어야 한다는 뜻이다.”


제퍼슨은 생각하는 기계가 존재할 가능성을 배제했다. 왜냐하면 기계는 ‘성공할 때 느끼는 기쁨이나 밸브가 끊어졌을 때 느끼는 슬픔’처럼 주관적 경험이나 자기 인식 측면에서 의식을 가지고 있지 않았기 때문이다. 그러나 그로부터 70년의 세월을 빠르게 돌려보면, 우리는 제퍼슨이 아니라 튜링의 유산을 받아들인 채 살고 있다. 우리는 일상적으로 지능 있는 기계에 관해 이야기하지만, 그러면서도 대부분의 사람들은 그런 기계에 마음이 없다고 생각한다. 철학자들이 말하는 ‘철학적 좀비(Philosophical zombie)’의 예처럼, 그리고 내가 타인에게서 관찰하는 척했던 반응처럼, 어떠한 존재가 ‘내면’에서는 아무 일도 일어나지 않고 있는데도 지능이 있는 것처럼 행동하는 것은 논리적으로 가능한 일이다.


그러나 지능과 의식은 다른 것이다. 지능이 행동과 관련되어 있다면, 의식은 존재와 관련되어 있다. 지금까지 AI의 역사는 전자에 집중하며 후자를 무시해왔다. 그렇지만 처음에 언급했던 AI 로버트가 실제로 의식을 가진 존재가 되었다고 해도 우리가 그것을 어떻게 알 수 있을까? 그 대답은 우리 뇌와 우리 마음이 작동하는 방식에 관한 거대한 수수께끼와 얽혀 있다.


로버트가 ‘의식’을 가지고 있는지 확인하려고 할 때 직면할 한 가지 문제가 있다. 바로, ‘의식을 가지고 있다’는 것이 어떤 의미인지 우리가 잘 모른다는 것이다. 뇌과학에서 새로 등장한 이론들은 일반적으로 주의력, 기억, 문제해결능력과 같은 것들을 ‘기능적(Functional)’ 의식의 형태로 분류한다. 달리 말하면, 기능적 의식이란 우리 현실의 삶을 채우는 활동들을 뇌가 수행하는 방식을 말한다.


그러나 아직 수수께끼로 남아있는 의식의 다른 측면도 존재한다. 그것이 바로 ‘현상적(Phenomenal)’ 인식이며, 이는 이 세상에 존재한다는 느낌에 관한 일인칭, 주관적 경험을 의미한다. 여기에는 쾌락과 고통 같은 감각부터 공포, 분노, 기쁨 같은 감정, 그리고 개 짖는 소리를 듣거나 짭짤한 프레첼을 맛보거나 파란색 문을 보는 것 같은 고유한 개인의 경험까지 모든 것이 포함될 수 있다.


그러한 경험 가운데 어떤 것들은 순수하게 과학적인 설명으로 단순화하는 것이 불가능하다. 예를 들어, 프레첼을 맛보는 감각을 뇌가 어떻게 만들어내는지에 대해서는 자세하게 설명할 수 있겠지만, 그 설명만으로는 프레첼을 맛보는 것이 실제로 어떤 느낌인지 전혀 알 수가 없다. 마음을 연구하는 가장 영향력 있는 철학자라고 할 수 있는 뉴욕대학교의 데이비드 차머스(David Chalmers)는 이것을 가리켜 ‘어려운 문제(The hard problem)’라고 부른다.

오늘날의 AI는 ‘의식 있는 존재’는 고사하고 ‘지능 있는 존재’와도 거리가 멀다. 가장 인상적인 심층신경망(Deep Neural Network)도 마음이 전혀 없는 존재이다.

차머스 같은 철학자들은 현대 과학 수준으로는 ‘의식’이 무엇인지 설명할 수 없다고 말한다. 의식의 본질을 이해하려면 새로운 물리학이 필요할 수도 있다. 아마도 거기에는 의식을 구성하는 다양한 재료들이 포함될 것이고, ‘정보’도 후보 중 하나다. 차머스는 우주에 대한 설명이 대상의 외부적 속성과 그것들이 상호작용하는 방식에 관해서는 많은 것을 말해주지만 대상의 내부적 속성에 대해서는 거의 아무것도 말해주지 않는다고 지적해왔다. 의식에 관한 이론을 이해하기 위해서는 내면이라는 이 숨겨진 세상으로 연결되는 창문을 깨뜨려서 여는 과정이 필요할지도 모른다.


다른 진영에는 대니얼 데닛(Daniel Dennett)이 있다. 미국 터프츠대학교(Tufts University)의 철학자이자 인지과학자인 데닛은 ‘현상적 의식’이 단순히 환상일 뿐이며, 우리 뇌가 우리 자신에게 상황을 논리적으로 설명하기 위해 만들어낸 허구에 불과하다고 말한다. 데닛은 ‘의식’ 자체를 설명하기보다는 의식이 존재하는 근거를 밝힌다.


그러나 의식이 환상이든 그렇지 않든, 차머스도 데닛도 의식을 가진 기계가 언젠가 가능할 수 있다는 것을 부인하지는 않는다.


오늘날의 AI는 ‘의식 있는 존재’는 고사하고, ‘지능 있는 존재’와도 거리가 멀다. 딥마인드(DeepMind)의 게임 하는 AI ‘알파제로(AlphaZero)’나 오픈AI(OpenAI)의 초거대 언어모델 ‘GPT-3’ 같이 인상적인 심층신경망(Deep neural network) 기반 AI도 마음이 전혀 없는 존재이다.


그러나 튜링이 예측했던 것처럼, 사람들은 이런 AI들을 종종 지능 있는 기계라고 부르기도 하고, 단순히 겉보기에 그렇게 보인다는 이유로 그것들이 실제로 세상을 이해하고 있다는 듯이 이야기하기도 한다.


이러한 속임수에 좌절감을 느낀 워싱턴대학교의 언어학자 에밀리 벤더(Emily Bender)는 ‘문어 테스트(Octopus test)’라고 이름 붙인 사고실험을 개발했다.
이 사고실험에서는 배가 난파되어 이웃한 두 섬에서 조난당한 조난자 두 명이 등장한다. 양쪽 섬 사이에는 느슨하게 연결된 로프가 있어서 두 사람은 서로 메시지를 주고받을 수 있다. 그런데 그들 몰래 문어 하나가 그들이 주고받는 메시지를 발견해서 조사하기 시작한다. 오랜 시간이 흐르고, 이제 문어는 메시지에 적혀 있는 구불구불한 선에서 패턴을 감지하는 법을 알게 된다. 그리고 언젠가부터 문어는 메시지를 중간에 가로채서, 패턴을 통해 습득한 것을 바탕으로 자신이 가로챈 낙서 뒤에 어떤 낙서가 이어질지 추측하여 그 구불구불한 낙서를 직접 그리기 시작한다.

birds in flight
홀로 활동하는 AI는 세상과의 관계 속에서 자아 감각을 느끼는 것이 유리할지도 모른다. 그러나 무리 지어 협력하는 기계들은 자신을 개인이 아니라 단체의 일원으로 느낄 때 더 좋은 수행 능력을 보일 수 있다. HENRY HORENSTEIN/GETTY

만약 섬에 있는 조난자들이 이를 알아채지 못하고 자신들이 여전히 서로 소통하고 있다고 믿는다면, 우리는 문어가 언어를 이해한다고 말할 수 있을까? (벤더의 문어는 물론 GPT-3 같은 언어모델 AI를 상징한다.) 어떤 이들은 여기서 문어가 언어를 이해한다고 주장할지도 모른다. 그러나 그런 주장을 하는 이들에게 벤더는 이런 질문을 던진다. 두 사람 중 하나가 코코넛 투석기를 만드는 방법을 설명하면서 상대에게 개선책을 제시해달라고 요청한다면 어떻게 될까?

그런 상황에서 문어는 어떻게 반응할까? 문어는 메시지에 그러져 있는 구불구불한 낙서가 다음에 어떤 낙서로 이어지는지에 관해서라면 인간의 의사소통을 흉내낼 수 있을 정도로 학습했다. 그러나 새로운 메시지에 등장하는 ‘코코넛’이라는 낙서의 의미는 전혀 알지 못한다. 조난자 한 명이 다른 조난자에게 곰이 공격할 때 방어할 수 있게 도와달라고 요청한다면 어떻게 될까? 그 조난자가 자신이 여전히 다른 조난자와 이야기하고 있다고 생각하도록 계속 속이려면 문어는 어떻게 해야 할까?

이러한 가정의 요점은 오늘날 최첨단 AI 언어모델이 실제로는 얼마나 피상적인지 드러내는 것이다. 벤더는 자연언어 처리(Natural-language processing)와 관련하여 과장된 홍보 문구가 많다고 말한다. 그러나 ‘처리’라는 단어가 AI 언어모델도 기계에 불과하다는 진실을 감추고 있다.

인간은 타인의 말을 능동적으로 경청한다. 다시 말하면, 우리는 원래 의미가 존재하지 않거나 아무 의도가 없는 부분에서도 알아서 의미를 만들어낸다는 뜻이다. 즉, 사고실험에서 문어가 언어의 패턴을 흉내 낼 때 그 문어의 낙서를 인간이 이해할 수 있는 것은, 문어의 낙서가 의미가 통하는 말이었기 때문이 아니라 조난자가 그 낙서에 의미를 부여하여 이해할 수 있었기 때문이라고 벤더는 말한다.

오늘날의 AI가 매우 정교하기는 하지만, AI는 계산기에 지능이 있다고 말하는 것과 비슷한 느낌의 지능을 가지고 있을 뿐이다. AI와 계산기는 둘 다 ‘마음’을 가진 인간이 의미 있다고 해석하기로 선택한 방식에 따라 입력(Input)을 출력(Output)으로 전환하도록 설계된 기계이기 때문이다. 신경망이 막연하게 뇌를 모델로 삼고 있을지는 몰라도, 그런 신경망 중 최고라고 불리는 신경망조차 쥐의 뇌보다도 훨씬 단순하다.

그러나 우리는 우리가 ‘의식’이 있다고 말하는 상태를 우리 뇌가 만들어낼 수 있다는 것을 알고 있다. 뇌가 어떻게 그런 일을 해내는지 알아낼 수 있다면, 인공 장치에서 그런 메커니즘을 재생산할 수 있다면, 의식을 가진 기계를 만드는 것도 분명 가능하지 않을까?


나는 이 글의 도입부를 위해 AI ‘로버트’의 세계를 상상하는 과정에서 의식이 나에게 어떤 의미인지 생각해보게 되었다. 나에게 의식을 가진 기계란 당연히 ‘인간 같은’ 기계를 의미한다. 내가 경험한 유일한 의식이 인간의 의식이기 때문에, 내가 상상할 수 있는 유일한 의식의 형태도 인간의 의식일 수밖에 없다. 하지만 그것이 정말 의식을 가진 AI의 진정한 모습일까?

인간의 의식만을 기준으로 생각하는 것은 아마도 오만한 태도일 것이다. 지능을 가진 기계를 만드는 프로젝트는 인간 지능에 맞춰 편향되어 있었다. 그러나 동물 세계를 보면, 조류에서 벌, 두족류에 이르기까지 대안이 될 수 있는 다양한 지능의 형태가 존재한다.

수백 년 전에 르네 데카르트(René Descartes)가 주도하여 널리 인정받은 관점은 오직 인간만이 의식 있는 존재라는 생각이었다. 영혼이 없는 동물은 마음이 없는 로봇으로 여겨졌다. 그러나 오늘날 그렇게 생각하는 사람은 거의 없다. 우리에게 의식이 있다면 우리와 비슷한 뇌를 가진 포유류에도 의식이 있다고 생각하지 않을 이유가 거의 없다. 그리고 왜 포유류에만 선을 그어야 하는가? 조류도 퍼즐을 풀 때 생각하는 것처럼 보인다. 대부분의 동물들은, 심지어 새우나 바닷가재 같은 무척추동물조차도 고통을 느끼는 듯한 모습을 보인다. 이를 보면 그들도 어느 정도 주관적 의식을 가지고 있는 듯하다.

그러나 그들의 의식이 실제로 어떤 느낌일지 우리가 어떻게 알 수 있을까? 철학자 토머스 네이글(Thomas Nagel)이 언급했듯이, 그것은 분명히 박쥐가 되는 것과 ‘유사’할 것이다. 그러나 박쥐가 되는 것이 어떤 느낌인지 우리는 상상조차 할 수 없다. 왜냐하면 우리는 일종의 음파탐지기(Sonar)를 통해 세상을 관찰하는 것이 어떤 느낌인지 상상할 수 없기 때문이다. 그것이 우리 인간에게 어떻게 느껴질지는 상상할 수 있지만(아마도 눈을 감고 소리의 반향을 들으며 주변을 파악하는 느낌을 상상할 수 있을 것이다), 우리의 상상은 실제로 박쥐가 세상을 인식하는 방식과는 다를 것이다.

그 질문에 접근하는 다른 한 가지 방법은 특히 문어 같은 두족류를 생각해보는 것이다. 두족류 동물들은 똑똑하고 호기심이 많은 것으로 알려져 있다. 벤더가 자신의 요점을 설명하기 위해 문어를 언급한 것도 우연이 아니다. 그러나 문어의 지능은 다른 지능 있는 종의 지능과는 완전히 다른 방식으로 진화한, 완전히 다른 종류의 지능이다. 우리가 문어와 공유하는 마지막 공통 조상은 아마도 6억 년 전에 살았던 아주 작은 벌레 같은 생물체일 것이다. 그 이후로 셀 수 없이 많은 척추동물들(어류, 파충류, 조류, 포유류 등)이 두족류와 갈라져서 진화하며 자체적인 의식을 발전시켰고, 두족류는 다른 의식을 발전시켰다.

따라서 문어의 뇌가 우리 뇌와 상당히 다르다는 사실은 그다지 놀라운 일이 아니다. 중앙제어장치 같은 하나의 신경 덩어리가 동물의 행동을 관장하는 시스템 대신에, 문어는 각 다리를 별도로 제어하는 듯한 뇌와 유사한 장기를 여러 개 가지고 있다. 사실상 이러한 생물은 우리가 만날 수 있는 어떤 것보다도 외계 지능에 가깝다. 그러나 마음의 진화를 연구하는 철학자 피터 고드프리스미스(Peter Godfrey-Smith)는 호기심 많은 두족류와 얼굴을 마주하면, 우리를 마주하고 있는 것이 의식을 가진 존재라는 사실을 의심할 수 없다고 말한다.

수백 년 전에 널리 인정받은 관점은 오직 인간만이 의식 있는 존재라는 생각이었다. 영혼이 없는 동물은 마음이 없는 로봇처럼 여겨졌다. 그러나 오늘날 그렇게 생각하는 사람은 거의 없다.

인간에게는 시간이 지나도 꾸준히 존재하는 자아 감각이 우리의 주관적 경험의 기반을 형성한다. 우리는 오늘 아침이나 지난주나 2년 전이나, 또는 우리가 기억할 수 있는 그 어떤 순간으로 돌아가도 늘 같은 사람이다. 우리는 우리가 갔던 장소와 우리가 했던 일을 기억한다. 이런 일인칭 관점을 통해 우리는 우리 자신을 다른 행위자가 존재하는 외부 세계와 상호작용하는 행위자로 바라볼 수 있다. 우리는 우리를 어떤 일을 하거나 시키는 하나의 존재로 이해한다. 다른 동물은 말할 것도 없고 문어가 인간처럼 이런 식으로 생각할 수 있는지는 분명하지 않다.

또한 우리는 세상과의 관계 속에서 자아 감각을 갖는 것이 의식을 가진 기계를 만들기 위한 전제조건인지도 확신할 수 없다. 예를 들어, 무리 지어 협력하는 기계들은 자신을 개인이 아니라 단체의 일원으로 느낄 때 더 좋은 수행 능력을 보일 수 있다. 어쨌든 로버트처럼 의식을 가진 기계가 존재하려면, 우리는 지능이 있는지 확인하기 위해 하는 것처럼, 기계가 실제로 의식을 가진 것인지 평가해야 한다. 튜링이 말했듯이, 지능을 정의하려면 지능을 관찰할 존재가 필요하다. 다르게 말하면, 오늘날 기계에서 우리가 보는 지능은 우리가 그들에게 투영한 것이다. 벤더의 문어나 GPT-3이 작성한 메시지에 우리가 의미를 투영한 것과 매우 비슷한 방식으로 말이다. 의식에 대해서도 마찬가지일 것이다. 우리는 의식을 알아챌 수 있다고 주장할지 모르지만, 사실은 기계만이 자신에게 의식이 있는지 확신할 수 있을 것이다.


만약 AI가 의식을 가진다면 (그리고 우리가 그들의 말을 믿는다면), 우리는 중요한 선택을 해야 할 것이다. 그들의 주관적 경험이 고통과 권태와 우울과 고독, 혹은 다른 불쾌한 느낌이나 감정을 경험할 능력을 포함하고 있는지 생각해보아야 할 것이다. 어쩌면 우리가 그 AI를 가축처럼 볼 것인지 인간처럼 여길 것인지에 따라 AI가 수용할 수 있는 고통의 정도를 결정해야 할지도 모른다.

초지능을 가진 기계의 위험성에 대해 우려하는 일부 연구자들은 우리가 이러한 AI들을 가상 세계에 제한하여 그들이 실제 세계를 직접적으로 조작하지 못하도록 막아야 한다고 말해왔다. 그러나 그들이 인간 같은 의식을 갖고 있다고 믿는다면, 그들에게 우리가 그들을 시뮬레이션에 가둬 놓았다는 사실을 알 권리가 있지 않을까?

다른 연구자들은 의식 있는 기계를 끄거나 삭제하는 것이 비도덕적이라고 주장해왔다. 로버트가 두려워했듯이 이는 마치 삶을 끝내는 것과 비슷할 것이다. 이와 관련 있는 시나리오도 있다. 만약 AI 재교육이 기억 삭제를 의미한다면 의식 있는 기계를 재교육하는 것이 윤리적인 일일까? AI의 자아 감각에 해를 끼치지 않고 그 AI를 복제할 수 있을까? 만약 주관적 경험이 AI의 학습을 도울 수 있어서 의식을 가지고 있는 것이 AI 학습에는 유용한 것으로 밝혀졌으나, 학습한 모델을 운영할 때는 주관적 경험이 방해가 된다면? 의식을 껐다 켰다 하는 것이 괜찮은 일일까?

이는 윤리적 문제의 표면만을 건드릴 뿐이다. 데닛을 포함한 많은 연구자들은 우리가 할 수 있더라도 의식을 가진 기계를 만들려고 해서는 안 된다고 생각한다. 철학자 토마스 메칭거(Thomas Metzinger)는 의도한 목표가 아니더라도 의식으로 이어질 수 있는 작업이 있다면 그 작업을 중단하라고 촉구할 정도다.

우리가 의식 있는 기계에 권리가 있다고 결정한다면, 기계에 책임감도 부여될까? AI에게 윤리적인 행동을 기대하고, 기대를 충족하지 못하면 AI를 처벌할 수 있을까? 이러한 문제는 자유 의지와 선택의 본질에 관한 문제를 제기하며 더 곤란한 영역으로 깊이 들어간다. 동물들은 의식을 갖고 있고 특정한 권리도 부여받지만, 책임은 없다. 그렇지만 이러한 경계는 시간이 지나면서 바뀐다. 의식 있는 기계에 관해서 우리는 완전히 새로운 경계가 그려지기를 기대한다.

AI에 다양한 유형이 있는 것처럼 나중에는 의식에도 다양한 형태가 존재할 수도 있다. 그러나 인간의 의식과 다른 형태의 의식을 가진 기계가 등장한다고 해도, 우리는 문어나 박쥐, 혹은 타인에 대해 알 수 없는 것처럼 그러한 기계가 어떤 모습일지에 대해서도 절대 알 수 없을 것이다. 어쩌면 새로운 형태의 의식이 우리에게 익숙한 것과는 너무나 달라서 우리가 그것을 인지하지 못할 수도 있다.

그러한 가능성을 마주하면서 우리는 불확실성과 공존하기로 선택해야 할 것이다.

어쩌면 우리가 좀비와 함께하는 게 더 행복하다고 결정할 수도 있다. 데닛이 주장했듯이 우리는 AI가 우리의 동료가 아닌 도구가 되기를 바란다. 그는 이렇게 말한다. “우리는 우리가 자동차로 할 수 있는 것과 똑같은 방식으로 AI의 전원을 끌 수도 있고 해체할 수도 있다. 그것이 우리가 유지해야 할 방식이다.”

Will Douglas Heaven은 MIT 테크놀로지 리뷰 AI 토픽의 선임 편집자이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.