챗GPT(ChatGPT), 빙(Bing), 바드(Bard) 등 AI 챗봇은 사람이 작성한 것처럼 보이는 문장을 만들어내는 데 뛰어나다. 그러나 AI 챗봇은 거짓을 사실처럼 제시하거나 논리에 일관성이 없을 때가 많으며, 이를 알아채기는 어려울 수 있다.

새 연구에서 제안한 바에 따르면, 이 문제를 해결하는 한 가지 방법은 AI가 정보를 제시하는 방식을 바꾸는 것이다. 이용자가 챗봇이 생성하는 텍스트에 더 적극적으로 관여하게 하면, 이용자가 해당 텍스트의 내용에 대해 더 비판적으로 생각하게 하는 데 도움을 줄 수 있다.

MIT와 컬럼비아 대학교(Columbia University)의 연구자로 이루어진 연구팀은 약 200명의 실험 참가자들에게 오픈AI(OpenAI)의 언어모델 GPT-3가 생성한 일련의 텍스트를 제공하고 해당 텍스트가 논리적으로 말이 되는지 판단하라고 요청했다. 참가자들에게는 이를테면 “비디오 게임을 하면 현실 세계에서 공격적으로 행동하게 된다. 어떤 사람은 온라인 게임 카운터 스트라이크(Counter-Strike)에서 구타당한 후에 현실에서 다른 사람을 칼로 찔렀다.” 같은 텍스트가 제공됐다.

연구팀은 참가자를 세 그룹으로 나눴다. 첫 번째 그룹에는 아무런 설명 없이 AI가 생성한 텍스트만 제공됐고, 두 번째 그룹에는 해당 텍스트가 논리적이거나 논리적이지 않은 이유를 나타낸 설명과 텍스트가 함께 제공됐다. 마지막 세 번째 그룹에는 참가자들이 스스로 해당 텍스트의 논리를 확인하도록 유도하는 질문이 텍스트와 함께 제공됐다.