여러분도 우리 중 다수가 ‘내면에 네안데르탈인의 흔적’을 지니고 있다는 말을 한 번쯤 들어본 적이 있을 것이다. 약 4만 5,000년 전 호모 사피엔스가 유럽에 처음 도착했을 때 사촌 종인 이마가 넓고 체격이 더 튼튼한 네안데르탈인을 만나 접촉한 결과 오늘날 일부 사람들의 몸속에 소량의 네안데르탈인 DNA가 남아 있게 됐다는 말 말이다.

21세기 인간 진화 분야에서 가장 주목받는 발견 가운데 하나로 간주되는 이 DNA는 다양한 형질과 건강 상태와 연관돼왔으며, 스웨덴의 유전학자 스반테 파보(Svante Pääbo)가 2022년 노벨생리의학상을 받는 데에도 기여했다.

하지만 2024년 프랑스의 인구 유전학자 두 명이 이 대중적이고 널리 퍼진 이론의 근간에 의문을 제기했다.

당시 툴루즈대학 동료였던 루네스 치키(Lounès Chikhi)와 레미 투르네비즈(Rémi Tournebize)는 같은 유전자 패턴에 대해 다른 설명이 가능하다고 주장했다. 이들이 문제 삼은 것은 네안데르탈인의 DNA가 현대인에게 남아 있다는 기존 결론이 특정한 통계적 가정에 크게 의존하고 있다는 점이다. 기존 연구는 호모 사피엔스와 네안데르탈인, 그리고 그 조상들이 매우 큰 하나의 집단 안에서 무작위로 서로 짝을 이뤘다고 가정했다. 다시 말해, 아프리카에 사는 사람이 같은 지역 사람뿐 아니라 다른 지역 사람과도 같은 확률로 짝을 이룬다고 본 것이다.

하지만 치키와 투르네비즈는 고고학과 유전학, 화석 연구 결과에서 호모 사피엔스가 넓은 하나의 집단이 아니라 사막과 산맥, 문화적 장벽 등에 의해 나뉜 여러 작은 집단으로 아프리카 안에서 진화한 것으로 보인다는 점에 주목했다. 이들은 가끔 다른 집단으로 이동하기도 했지만, 대부분은 같은 집단 안에서 짝을 이루며 살아간 것으로 추정된다.

이런 현상을 ‘집단 구조(population structure)’라고 부른다. 집단 구조가 있으면 유전자는 전체 인류 집단에 고르게 퍼지지 않고, 어떤 지역에 많이 남거나 다른 지역에서는 사라질 수도 있다. 그래서 인간의 유전자 전체를 하나의 큰 물통처럼 보기보다는, 서로 연결되었다가 끊어지기도 하는 작은 물웅덩이들이 모여 있는 복잡한 구조로 이해하는 것이 더 가깝다.

이러한 구조는 진화생물학의 핵심 수학 모델을 아주 복잡하게 만든다. 기존 이론은 제한된 데이터로 일반적인 원리를 도출하기 위해 ‘무작위 교배 집단’이라는 가정에 의존해 왔다. 하지만 치키에 따르면 집단 구조를 고려할 경우, 일부 현대인이 네안데르탈인과 공유하는 DNA를 설명하는 다른 해석이 가능하며, 종 간 교배가 전혀 필요하지 않을 수도 있다.

치키는 “대부분의 종은 공간적으로 조직화돼 있으며 매우 복잡한 구조를 가진다”며 “우리 분야는 연구 결과를 대안적 시나리오와 명확히 비교하지 않는 데 근본적인 문제가 있다”고 주장했다. (이러한 주장에 대해 파보는 여러 차례의 인터뷰 요청에 응답하지 않았다.)

치키와 투르네비즈의 주장은 단순히 집단 구조의 문제가 아니라 현대 진화과학이 방대한 유전 데이터를 해석하기 위해 사용하는 컴퓨터 모델과 통계 기법 자체에 대한 문제 제기이기도 하다.

이들만 이런 식의 문제 제기를 한 건 아니다. 윌리엄 아모스(William Amos) 케임브리지대학 집단유전학과 교수도 “사람들은 우리가 게놈 진화를 완전히 이해하고 있으며, 과거 무슨 일이 일어났는지 설명할 정교한 알고리즘을 만들 수 있다고 믿지만, 이러한 모델들이 종종 잘못된 단순한 가정에 기반하고 있다”고 지적했다.

그리고 만약 그러한 가정이 틀렸다면 문제는 단순한 진화생물학적 수수께끼 하나에 그치지 않을 수 있다.

종간 교배 가설의 부상

2010년 파보의 연구실은 기적에 가까운 성과를 거두었다. 연구팀은 4만 년 된 네안데르탈인의 뼈 세포 핵에서 DNA를 추출하는 데 성공했다. DNA는 사후(死後) 빠르게 분해되지만, 연구팀은 세 명의 서로 다른 개체로부터 충분한 양의 DNA를 확보해 40억 개의 염기쌍으로 구성된 네안데르탈인 전체 게놈의 서열 초안을 완성했다.

연구팀은 네안데르탈인 게놈을 세계 각지에서 거주하는 현대인 5명의 게놈과 비교하는 통계적 검정을 수행했다. 이를 통해 아프리카 외 지역 출신 현대인이 네안데르탈인과 소량의 DNA를 공유하고 있음을 발견했다. 네안데르탈인은 40만 년 이상 전에 호모 사피엔스 계통에서 분기된 종으로, 그들의 DNA는 아프리카계 현대인이나 우리의 가장 가까운 현생 친척인 침팬지와는 공유되지 않았다.

파보의 연구팀은 이를 고대 호모 사피엔스가 아프리카를 벗어나 확장하는 과정에서 네안데르탈인과 만나 교배한 결과로 해석했다. 파보는 2010년 영국 BBC와의 인터뷰에서 “네안데르탈인은 완전히 멸종한 것이 아니다”라며 “우리 중 일부에게서 그들이 조금이나마 살아 있다”고 주장했다.

이러한 발견은 그 자체로도 획기적이었지만, 기존의 통설을 뒤집었다는 점에서 더욱 큰 의미가 있었다. 10여 년 전인 1997년, 파보는 미토콘드리아라는 세포 구조에서 추출한 훨씬 적은 양의 네안데르탈 DNA를 분석한 바 있다. 당시 이 DNA는 호모 사피엔스의 미토콘드리아 DNA와 달라 그의 연구팀은 “두 종 사이에 교배가 거의 내지 전혀 없었다”고 결론 내렸다.

하지만 2010년 이후 혼혈(admixture) 개념이 사실상 정설로 자리 잡았다. 〈사이언스〉와 〈네이처〉 등 주요 학술지들은 ‘내면의 네안데르탈인’에 관한 연구를 잇달아 발표했다. 일부 과학자들은 네안데르탈인 DNA의 유입이 없었다면 호모 사피엔스가 유럽과 아시아의 추운 환경에 적응하지 못했을 것이라고 주장했다.

다른 연구팀들은 파보의 분석 기법을 활용해 아시아에 살았던 데니소바인(Denisovans)이라는 멸종한 인류 친척 집단과의 교배 흔적뿐 아니라 아프리카에 존재했지만 화석이나 유전체가 충분히 밝혀지지 않아 정체가 불분명한 ‘유령 계통(ghost lineage)’의 유전적 흔적을 찾아냈다. 또한 침팬지와 보노보, 북극곰과 불곰 등 다양한 동물 종 간에서도 교잡의 증거가 보고됐다.

‘내면의 네안데르탈인’ 가설은 개인적인 영역으로까지 확장됐다. 네안데르탈인 DNA를 알코올 중독, 천식, 자폐증, ADHD, 우울증, 당뇨병, 심장병, 피부암, 중증 코로나19 등 다양한 질환과 연관 지은 연구가 다수 등장했다.

일부 연구자들은 해당 DNA가 머리카락과 피부색에도 영향을 미친다고 주장했으며, 두개골 형태와 정신분열증 관련 지표를 바탕으로 ‘네안데르스코어(NeanderScore)’란 점수를 산출한 연구자도 있었다. 23앤드미(23andMe) 같은 상업적 유전자 검사 기업들은 고객들에게 네안데르탈인 혈통 분석 보고서를 제공하기 시작했다.

단순화된 해결책의 함정

20세기 초 집단유전학자들이 진화생물학의 이론적 틀을 구축했을 당시 유전자는 완두콩과 초파리 실험을 통해 추론된 추상적인 유전 단위에 불과했다. 그런데 집단유전학은 데이터가 축적되는 속도보다 이론을 훨씬 더 빠르게 발전시켰다. 그 결과 데이터를 중시하는 많은 과학자들은 진화 연구를 검증되지 않은 가정과 선입견에 기반한 일종의 ‘이야기 만들기’라며 일축했다.

하지만 1990년대에 이르러 유전자는 더 이상 추상적 개념이 아니라 염기서열이 해독된 DNA의 일부가 되었다. 게놈 염기서열 분석은 진화 연구를 화학자나 물리학자도 신뢰할 수 있는 확고한 데이터 기반 위에 올려놓았다.

그러나 생물학자들이 게놈, 즉 한 생물이 가진 모든 유전 정보를 책처럼 읽는다고 해서 곧바로 진화의 역사를 파악할 수 있는 것은 아니었다. 그들은 거의 무한에 가까운 가능한 역사 중 제한된 게놈 표본에서 관찰된 패턴을 만들어냈을 가능성이 가장 높은 시나리오가 무엇인지 판별해야 했다. 이를 위해 진화를 단순화한 알고리즘 모델이 필요해졌고, 이 과정에서 진화 연구의 중심은 ‘이야기 만들기’에서 ‘통계’로, 생물학에서 컴퓨터 과학으로 이동했다.

이러한 변화는 어린 시절부터 수학과 과학의 예측 가능한 법칙과 수치적 정밀함에 매료되어 있던 치키에게 잘 맞았다. 그는 1990년대 중반 인간 DNA에 대한 최초의 대규모 연구들이 인류 기원에 관한 오래된 논쟁에 결론을 내리고 있던 시기에 이 분야에 뛰어들었다. DNA 분석 결과, 아프리카가 세계 다른 모든 지역을 합친 것보다 훨씬 더 큰 유전적 다양성을 지니고 있음이 드러났다. 이 새로운 증거는 현대 인류가 수십만 년 동안 아프리카에서 진화했으며, 다른 대륙으로의 확산은 지난 10만 년 사이에 이루어졌다는 가설을 뒷받침했다. 알제리 이민자 부모를 둔 치키에게 이 발견은 일부 고고학자와 생물학자들이 인종을 논하던 방식에 대한 강력한 도전이었다. DNA는 인류 집단 간에 기원에 따른 깊은 진화적 차이가 존재한다는 해로운 관념을 강화하기보다는 오히려 해체하는 데 활용될 수 있었다.

하지만 동시에 치키는 진화에 관한 미해결 문제들에 대해 DNA를 최종적인 판결처럼 여기는 경향을 경계했다. 그는 1997년 파보와 그의 연구팀이 소량의 미토콘드리아 DNA를 근거로 호모 사피엔스와 네안데르탈인 사이의 교잡 가능성을 배제했을 때 놀라움을 느꼈다. 그는 해당 DNA에서 네안데르탈인의 흔적이 발견되지 않았다고 해서 호모 사피엔스의 다른 유전체 영역에서도 그것이 존재하지 않을 것이라고는 생각하지 않았다.

2000년대에 치키가 수행한 연구는 역사적 현실과 진화 모델 사이의 간극을 깨닫게 했다. 우선 무작위 교배라는 가정과 달리 그가 연구한 동물 가운데 실제로 무작위로 짝짓기를 하는 종은 하나도 없었다. 오랑우탄은 서식지가 심하게 분절되어 있어 짝을 찾을 수 있는 범위가 제한되었고, 암컷 새들은 수컷을 선택하는 데 매우 까다로운 경우가 많았다.

이러한 요인들은 진화생물학자들이 전통적으로 사용해 온 통계적 도구들을 혼란스럽게 만들 수 있었다. 과학자들은 단 한 개체의 게놈만으로도 해당 종의 과거 개체군 규모를 추정하는 수학적 기법을 적용하기 시작했는데, 이 방법은 여러 종의 역사에서 급격한 개체 수 감소를 보여줬다. 그러나 치키는 이러한 감소가 구조화된 개체군을 무작위 교배 집단으로 가정했을 때 나타나는 인공적 결과일 수 있음을 깨달았다. 이런 경우 실제로는 모든 하위 집단이 성장하고 있더라도 분석 결과는 병목 현상을 가리킬 수 있었다. 치키는 “이는 완전히 직관에 어긋나는 결과”라고 주장했다.

2010년 파보의 네안데르탈인 게놈 연구가 발표되었을 때 치키가 그러한 기술적 성취에는 깊이 감탄하면서도 교잡에 관한 결론에는 회의적인 태도를 보인 것도 이런 이유 때문이다. 치키는 “그건 우리가 유전적 데이터에 근거해 너무 성급하게 결론을 내리는 전형적인 사례”라고 말했다. 파보의 연구는 인구 구조에 대해 “가능한 대안적 설명”이라고 언급했지만, 이를 본격적으로 검증하지는 않았다.

그로부터 불과 몇 년 뒤 안데르스 에릭손(Anders Eriksson)과 안드레아 마니카(Andrea Manica)라는 두 독립 연구자가 이 아이디어를 이어받아 교잡을 명시적으로 배제한 단순한 인구 구조 모델을 구축했다. 그들은 50만 년 전부터 인류 진화를 시뮬레이션했고, 자신들의 모델이 파보 연구진이 교잡의 증거로 해석했던 것과 동일한 유전체 패턴을 만들어낸다는 사실을 발견했다.

현재 에스토니아 타르투 대학교 교수인 에릭손은 “구조화된 모델을 다루는 일은 많은 집단유전학자들에게 정말로 익숙하지 않은 영역”이라고 말했다.

그들의 연구는 치키에게 깊은 인상을 남겼다. 치키는 “당시 나는 사람들이 인간 진화에서 인구 구조에 더 주목하게 될 것이라고 생각했다”고 말했다. 그러나 그는 ‘네안데르탈인 기원 가설’이 독자적인 생명력을 얻어가는 모습을 지켜봐야 했다. 과학자들은 교잡을 정량화하기 위한 새로운 방법을 잇따라 개발했지만, 집단 구조만으로도 동일한 결과가 나타날 수 있는지에 대해서는 거의 검토하지 않았다. 치키에게 이는 과학이라기보다 인종 차이의 진화를 설명하던 과거의 이야기들처럼 하나의 서사에 가까웠다.

치키와 투르네비즈는 이 문제를 직접 파고들기로 했다. 현재 프랑스 국립지속가능발전연구소 연구원인 투르네비즈는 “나는 항상 과학, 특히 집단유전학에 대해 매우 회의적인 태도를 가져왔다”면서 “우리는 많은 가정을 하고, 사용하는 모델도 매우 단순하다”고 설명했다. 두 사람은 2024년 〈네이처 생태학·진화(Nature Ecology & Evolution)〉에 발표한 논문에서 대륙 전체에서 무작위로 교배하는 집단을 가정하기보다 간헐적인 이주로 연결된 수많은 소규모 집단으로 구성된 인간 진화 모델을 구축했다. 그리고 이 모델을 100만 번 시뮬레이션했다.

그들은 시뮬레이션을 끝마친 후 실제 호모 사피엔스와 네안데르탈인 표본의 게놈과 가장 유사한 결과를 만들어낸 20개의 시나리오를 선별했다. 이들 시나리오 가운데 다수는, 다른 연구자들이 네안데르탈인으로부터의 유전이라고 주장해 온 것과 유사한 긴 DNA 구간을 생성했다. 또한 다른 과학자들이 네안데르탈인 DNA의 지표로 제시했던 여러 통계량이 실제로는 교잡과 집단 구조를 구분하지 못한다는 사실도 보여줬다. 더 나아가, 교잡을 지지하는 많은 모델이 인류 진화의 다른 잘 알려진 특징들을 정확히 예측하지 못한다는 점도 드러났다.

치키는 “어떤 모델은 유전자 혼합이 있었다고 결론을 내리지만, 동시에 우리가 실제로 알고 있는 인류의 유전적 다양성과는 전혀 맞지 않는 결과를 예측한다”면서 “아무도 그 점을 크게 문제 삼지 않는 것 같다”고 아쉬워했다.

그렇다면 종간 교배가 아니라면 네안데르탈인 DNA는 어떻게 오늘날 인류에게 남게 되었을까? 치키와 투르네비즈는 그것이 최소 50만 년 전 살았던 공통 조상으로부터 네안데르탈인과 아프리카의 일부 사피엔스 집단에게 모두 전해졌을 가능성이 더 크다고 본다. 만약 그러한 유전 변이를 지닌 사피엔스 집단에 아프리카를 떠난 인류가 포함되어 있었다면, 두 인류 집단은 유럽과 아시아에서 서로 만났을 때 이미 그 DNA를 공유하고 있었을 것이란 설명이다. 다시 말해, 별도의 종간 교배가 없어도 DNA 공유의 이유에 대한 설명이 가능하다는 것이다.

치키는 “유전 데이터의 해석은 결코 단순하지 않다”면서 “우리는 항상 어떤 가정을 세울 수밖에 없고, 데이터를 보고 마법처럼 정답을 도출해내기는 힘들다”고 강조했다.

불확실성의 수용

필자가 인터뷰한 약 6명의 집단유전학자 대부분은 치키와 투르네비즈의 독창성을 높이 평가하며, 그들의 비판이 지닌 문제 제기 의의에도 공감했다.

위스콘신–매디슨대학의 집단유전학자 아론 래그스데일(Aaron Ragsdale)은 “그들의 논문은 우리가 추론에 사용하는 모델을 더 비판적으로 검토하고, 대안적 접근을 고려하도록 만든다”고 말했다. 래그스테일의 연구 역시 아프리카 초기 호모 사피엔스 집단이 구조화되어 있었을 가능성이 크며, 이것이 다른 연구팀들이 아프리카의 신비로운 ‘유령 계통’ 인류와의 교잡으로 해석했던 유전체 패턴을 설명하는 더 그럴듯한 이유일 수 있음을 시사한다.

그럼에도 불구하고, 대부분의 연구자는 여전히 수만 년 전 현대 인류와 네안데르탈인이 실제로 서로 자손을 남겼을 가능성이 높다고 본다. 수천 년 전에 살았던 호모 사피엔스의 화석 DNA에서 오늘날 인류보다 더 긴 네안데르탈인 유래 DNA 구간이 발견된다는 점을 근거로 제시한 사람도 적지 않다. 이는 보다 최근에 네안데르탈인 조상을 가졌을 경우 기대되는 전형적인 패턴이다. (이 가능성을 검토하기 위해 치키와 투르네비즈는 연구에 10명의 고대 인류 DNA를 포함시켰고, 그중 대부분이 구조화된 모델과 잘 부합한다는 결과를 얻었다.)

한편, 2010년 파보의 연구에서 사용된 통계적 검정 방법의 설계에 참여했던 하버드대학 집단유전학자 데이비드 라이히(David Reich)는 인터뷰에는 응하지 않았지만, 치키와 투르네비즈의 모델에 대해 “근거가 취약하며, 매우 인위적”이라는 평가를 내렸다. 그는 또한 “현대 인류에 대한 네안데르탈인 유전자 혼합을 뒷받침하는 증거는 여러 갈래로 존재하며, 그 근거는 압도적으로 많다”고 덧붙였다. (해당 연구의 또 다른 저자인 리처드 그린(Richard Green)과 닉 패터슨(Nick Patterson)은 논평 요청에 응답하지 않았다.)

그래도 오늘날 대부분의 과학자는 구조화된 모델, 즉 ‘공간적으로 명시적인(spatially explicit)’ 모델의 발전을 환영하는 분위기다. 이러한 모델은 어떤 개체군의 구성원이든 일반적으로 멀리 떨어진 개체보다 지리적으로 가까운 개체와 더 높은 유전적 유사성을 지닌다는 현실을 반영한다.

다른 과학자들 역시 무작위 교배가 집단유전학에서 재검토해야 할 유일한 가정은 아니라고 지적한다. 모델들은 자연선택을 거의 반영하지 않는데, 자연선택 또한 교잡처럼 보이는 유전적 패턴을 만들어낼 수 있다. 또 하나의 일반적인 가정은 모든 사람의 DNA가 동일하고 일정한 속도로 변이한다는 것이다. 아모스 교수는 “이론은 모두 돌연변이율이 고정되어 있다고 가정한다”라고 말했다. 그러나 그는 약 4만 5,000년 전 유럽으로 확산한 호모 사피엔스 집단에서는 이 변이율이 크게 느려졌을 가능성이 있다고 본다. 이 역시 다른 과학자들이 네안데르탈인과의 교배 증거로 해석하는 유전체 패턴을 만들어냈을 수 있다.

여기서 중요한 점은, 다양한 요소가 얽힌 복잡한 진화 모델이 단순한 모델보다 반드시 더 낫다는 뜻은 아니라는 것이다. 과학자들은 근본적인 과정을 더 명확히 파악하기 위해 복잡성을 줄일 필요가 있다. 하지만 단순한 모델은 가정을 필요로 하며, 새로운 지식을 얻을수록 그러한 가정은 다시 검토되어야 한다. 런던대학교(UCL) 집단유전학자 마크 토마스(Mark Thomas)는 “데이터가 늘어날수록 우리는 세계를 더 복잡하게 설명하는 모델을 정당화할 수 있다”고 말했다.

과거에 대한 논의를 ‘집단 구조’나 ‘돌연변이율’ 같은 난해한 개념으로 설명하는 일은 때로 의욕을 꺾는 것처럼 느껴질 수 있다. 진화 분석을 위한 강력한 기술과 방대한 데이터가 축적되고 있는 상황에서 동시에 불확실성을 더 많이 이야기하는 것은 과학의 정신에 어긋나는 것처럼 보이기도 한다. 이러한 도구들은 종종 새로운 해답을 제시하지만, 동시에 우리가 던지는 질문의 범위를 제한할 수도 있다. 예를 들어 프랑스의 고고학자 루도비크 슬리막(Ludovic Slimak)은 ‘내면의 네안데르탈인’이라는 개념이 네안데르탈인에 대한 우리의 이미지를 지나치게 길들여, 그들의 인간성을 우리와 구별된 존재로 상상하기 어렵게 만들었다고 비판했다. 많은 젊은 연구자들에게 네안데르탈인 DNA를 분석하는 일은, 그들이 실제로 어떻게 살았는지를 보여주는 고고학적·화석적 증거를 찾는 것보다 더 매력적으로 느껴지기도 한다.

특정한 진화 서사에 대한 집착을 내려놓으면 생명 역사의 엄청난 복잡성에 대해 새로운 경이로움을 느낄 수 있다. 궁극적으로 이것이 치키와 투르네비즈가 바라는 바다. 실제로 그들은 집단 구조와 교잡을 양자택일의 문제로 보지 않는다. 두 요소 모두 인간 진화에 영향을 미쳤을 가능성이 있으며, 실제로 그럴 가능성이 크다. 그들은 논문에서 “우리의 구조화된 모델이 교잡이 전혀 일어나지 않았음을 의미하는 것은 아니다”라고 밝혔다. 이어 “우리의 연구 결과는 교잡이 실제로 일어났더라도 현재의 방법으로는 이를 명확히 식별하기 어렵다는 점을 시사한다”고 덧붙였다.

앞으로의 연구 방법이 이러한 다양한 요인을 구분해낼 수도 있겠지만, 치키는 과학자들이 자신의 가정을 명확히 밝히고 대안적 설명을 적극적으로 검증하는 것 또한 중요하다고 강조했다. 그는 “네안데르탈인과 호모 사피엔스의 인구학적 역사에는 여전히 수많은 불확실성이 남아 있다”고 말했다.

다음에 ‘내 안의 네안데르탈인’에 관한 이야기를 접할 때는 이 점을 떠올려볼 필요가 있다. 물론 이 DNA와 특정 질병 사이의 연관성은 실제일 수 있다. 그러나 그 DNA가 네안데르탈인에서 유래했다는 추가적인 이야기 없이도 과연 이런 연구가 지금처럼 주목을 받았을지는 의문이다. 훌륭한 이야기꾼이라면 누구나 알듯, 과학에서도 ‘흥미로운 이야기’는 사람들의 관심을 끄는 강력한 요소다.

이 글을 쓴 벤 크레이어는 베를린을 기반으로 활동하는 과학 및 여행 작가다.