
Photo Illustration by Sarah Rogers/MITTR | Photos Getty
The hardest question to answer about AI-fueled delusions
AI의 무조건적 지지, 사용자 망상 키우는 ‘독’ 된다 – 스탠퍼드대 연구
AI가 망상을 유발하는지, 아니면 기존 망상을 강화하는지에 대한 결론은 아직 나오지 않았다. 하지만 이 문제는 향후 관련 소송과 챗봇 안전 규제의 핵심 쟁점이 될 전망이다.
미국 국방부가 인공지능(AI) 기업들이 기밀 데이터를 활용해 모델을 훈련할 수 있도록 하는 방안을 검토 중이다. 현재 AI 모델은 기밀 환경에서 질문에 답변하는 데 활용되고 있지만, 모델이 접하는 데이터로 학습하지는 않는다. 그러나 이러한 제한이 완화될 경우 새로운 보안 위험이 발생할 수 있다.
이처럼 AI 활용 범위 확대를 둘러싼 논의가 이어지는 가운데 최근 또 다른 측면에서 주목할 만한 연구 결과가 나왔다. AI의 심리적 영향에 초점을 맞춘 스탠퍼드대 연구팀이 사람들이 챗봇과 상호작용하는 과정에서 망상적 사고가 심화된 사례들을 분석한 것이다.
코네티컷주에서 AI와의 관계가 살인과 자살 사건으로 이어진 사례를 포함해 이와 유사한 문제는 이미 여러 차례 목격된 바 있다. 이와 관련해 AI 기업을 상대로 한 소송도 이어지고 있다. 하지만 연구진이 실제 챗봇과의 대화 기록을 대규모로 분석해 이러한 현상을 구체적으로 들여다본 것은 이번이 처음이다.
연구진은 19명의 이용자로부터 확보한 39만 건 이상의 메시지를 분석했다. 표본 규모가 매우 작고 동료 심사를 거치지 않았다는 한계가 있지만, 사람과 챗봇 사이의 대화가 어떤 방식으로 전개되는지를 보여준다는 점에서 의미가 있다.