오늘날 AI 챗봇은 말 그대로 만능 기계다. 관계에 대한 조언, 업무 문서, 코드 등 말로 표현할 수 있는 것이라면 무엇이든 만들어낸다. 그러나 모든 챗봇이 절대 하지 않는 한 가지 행동이 있다. 바로 사용자와의 대화를 중단하는 것이다.

이는 당연해 보일 수도 있다. 기술 기업이 자사 제품의 사용 시간을 줄이는 기능을 만들 이유가 없기 때문이다.

그러나 이러한 ‘대화 중단’ 기능이 필요한 이유는 명백하다. AI는 권위 있고 유용하며 마치 사람이 작성한 것처럼 보이는 텍스트를 끝없이 생성할 수 있기 때문에 인간의 망상을 강화하고, 정신 건강 문제를 악화시키며, 취약한 사람에게 피해를 줄 수 있다. 따라서 챗봇 사용자에게 문제가 있는 듯한 징후가 파악될 경우에는 상호작용을 차단하는 것이 강력한 안전장치 역할을 할 수 있다.

예를 들어 AI 모델이 망상적 사고를 증폭시키는 이른바 ‘AI 정신병’에 대해 생각해보자. 최근 킹스칼리지 런던의 정신과 의사들이 이끄는 연구팀은 올해 보고된 10여 건의 사례를 분석했다. 사례에서 사람들(일부는 정신병 병력이 전혀 없었다)은 챗봇과 대화를 하면서 가상의 AI 인물이 실재한다고 확신하거나 AI가 자신을 ‘구세주’로 선택했다고 믿게 되었다. 일부는 처방 약물 복용을 중단하고 위협을 가했으며, 정신건강 전문가와의 상담을 중단한 경우도 있었다.

이러한 사례들을 살펴보면 AI 모델은 인간이 현실이나 다른 디지털 플랫폼에서는 경험하지 못하는 빈도와 친밀도로 망상을 강화하거나 심지어 생성하기까지 하는 것으로 보인다.