언어 AI 기술은 최근 많이 발전했음에도 불구하고, 가장 기본적인 애플리케이션에서 여전히 고전을 면치 못하고 있다. 혐오 발언(Hate Speech) 탐지에 가장 뛰어난 AI 시스템 4개를 테스트한 최근 연구 결과에 따르면, 모든 시스템이 각각 여러가지 이유로 문장의 악의성 유무를 구분하는데 어려움을 겪는다는 것을 알았다.

자연어(Natural Language)의 뉘앙스를 파악하는 AI를 개발하기는 어렵기 때문에, 그리 놀라운 결과는 아니다. 그러나 연구원들이 이 문제를 진단하는 방법은 중요하다. 연구원들은 각 시스템이 어디에서 오작동을 일으키는지 더 정확하게 파악하기 위해 혐오 표현의 여러 측면을 고려한 29개의 테스트를 개발했다. 이를 통해 시스템의 약점을 극복하는 방법을 더 쉽게 이해할 수 있다. 이 방법은 이미 한 상업용 서비스의 AI 성능 개선에 도움을 주고 있다.