최근 미국 사법 현장에서는 인공지능(AI)이 생성한 오류가 걸러지지 않은 채 문서와 결정문에 반영되는 사례가 잇따르고 있다. 시작은 일부 대형 로펌 소속 변호사를 포함한 몇몇 변호사들이 존재하지 않는 판례를 인용한 서류를 제출하면서였다.

이후 비슷한 잘못이 법정 곳곳에서 반복됐다. 지난해 12월에는 AI와 허위 정보 분야 전문가로 알려진 스탠퍼드대 교수가 딥페이크 관련 소송에서 환각(hallucination)과 오류가 담긴 선서 진술서를 제출해 문제가 되기도 했다.

이런 오류는 결국 판사들이 바로 잡았다. 판결문이나 상대측 변호인이 문제를 지적하면 판사들은 경고나 벌금을 부과했고, 변호사들은 다시는 AI를 함부로 신뢰하지 못할 만큼 곤욕을 치렀다.

그럼에도 일부 판사들은 생성형 AI를 법정에 도입하고 있다. 적절한 안전장치를 마련하면 법률 검색을 신속히 하고, 사건을 요약하며, 일상적인 명령문을 작성하는 등 미국 전역에서 심각하게 지연되고 있는 법원 업무 개선에 기여할 수 있다고 보기 때문이다.

그러나 올여름에도 판사가 AI가 만든 오류를 걸러내지 못하고 그대로 인용하는 일이 발생했다. 뉴저지의 한 연방 판사는 AI가 생성한 것으로 보이는 오류가 가득한 명령문을 다시 발부해야 했고, 미시시피의 한 판사는 명령문에 포함된 AI 환각 의혹에 대해 끝내 설명하지 못했다.