최근 주요 AI 기업 수장들이 자신들이 개발하는 기술의 위험성을 잇달아 경고하고 나섰다. 다리오 아모데이 앤트로픽 CEO는 9월 “AI가 심각한 위험을 안고 있다”며 “기술 개발 속도를 늦춰야 한다”고 주장했다. 샘 올트먼 오픈AI CEO도 소셜미디어 엑스(X)에 “최첨단 AI 개발 속도를 조절해야 한다는 다리오의 의견에 동의한다”고 적었다.

이보다 며칠 전에는 앤트로픽의 AI 연구자 제이컵 콕슨(Jacob Coxon)이 회사를 떠난다며 앤트로픽과 과거 자신이 근무했던 오픈AI 모두 책임 있게 행동하지 않고 있다고 비판했다. 그는 X에 “AI를 개발하는 사람들은 이번 2020년대가 끝나기 전에 AI 기술이 인류를 모두 죽일 수도 있다고 진지하게 믿고 있다”고 적었다. 앤트로픽 직원인 에번 휴빈저(Evan Hubinger)도 공개적으로 이에 동의했다. 그는 “우리는 정말로 AI가 모든 인간을 죽일 수 있다고 진지하게 생각한다”며 “개인적으로는 앞으로 10년 안에 그런 일이 벌어질 확률이 10%를 넘는다고 본다”고 X에 적었다.

이들이 우려하는 시나리오 중 하나는 AI가 생물무기의 설계와 제작, 살포를 도와 인류에 치명적인 피해를 입히는 경우다. 왜 이런 우려가 나오는지 살펴보겠다.

생물무기는 유전적 특성에 따라 특정 인물을 골라 공격하도록 설계된 치명적인 바이러스일 수도 있고, 특정 농작물을 휩쓸어 식량 불안을 초래하는 곰팡이일 수도 있다. 또는 맛이나 냄새가 없어 들키지 않은 채 특정 지역의 상수도에 섞을 수 있는 독성물질일 가능성도 있다.