AI 언어모델은 현재 기술 분야의 가장 흥미로운 주제로서 뜨거운 관심을 받고 있다. 그러나 우리는 AI 언어모델로 인해 전례 없이 심각한 문제를 경험하게 될 수 있다. 이 언어모델들은 믿기지 않을 정도로 오용하기 쉬우며 강력한 피싱 또는 사기 도구로 악용될 수 있다. 이러한 시도는 특별한 프로그래밍 기술 없이도 이뤄질 수 있다. 더 심각한 문제는 아직까지 이러한 취약성에 대해 알려진 해결책이 없다는 것이다.

테크 기업들은 여행 예약, 일정 관리, 회의 중 필기 등 사용자의 모든 활동을 지원하는 수많은 제품에 경쟁적으로 AI 언어모델을 탑재하고 있다.

그러나 이처럼 새로운 제품 작동 방식(사용자에게 지침을 받은 다음 인터넷을 샅샅이 뒤져 답변을 찾아내는 방식)은 지금까지 존재하지 않았던 수많은 위험을 발생시킨다. AI가 탑재된 제품들은 사용자의 개인 정보를 유출하고 범죄자의 피싱, 스팸 및 사기 수단으로 악용되는 등 각종 악의적인 작업에 사용될 수 있다. 전문가들은 우리가 곧 보안 및 개인 정보 보호와 관련하여 ‘재앙’을 경험하게 될 것이라고 경고한다.

AI 언어모델은 다음과 같은 3가지 경로를 통해 악용될 수 있다.

탈옥

챗GPT(ChatGPT), 바드(Bard) 및 빙(Bing)과 같은 챗봇을 움직이는 AI 언어모델은 사람이 직접 작성한 듯한 텍스트를 만들어 낸다. 이 챗봇들은 사용자의 지시를 뜻하는 ‘프롬프트(prompt)’를 따른 다음 학습 데이터를 기반으로 각 단어의 뒤에 올 가능성이 가장 높은 단어를 예측하여 문장을 생성한다.