인종차별적이고 성차별적인 생각이 언어 생성 알고리즘에 주입(Embedding)되는 것으로 알려져 있다. 이 알고리즘은 인터넷 언어로 훈련 받는데, 혐오 발언과 허위정보가 담긴 레딧(Reddit)과 트위터의 어두운 면도 포함되어 있다. 언어 생성 알고리즘은 레딧과 트위터 상의 위험한 아이디어가 무엇이든 학습의 일부로 받아들인다.

최근, 연구원들은 이미지 생성 알고리즘에도 동일한 현상이 나타날 수 있음을 입증했다. 남자 얼굴 사진을 알고리즘에 입력하면, 43%는 양복 입은 모습을 자동완성한다. 같은 알고리즘에 알렉산드리아 오카시오-코르테즈(Alexandria Ocasio-Cortez) 미 하원의원 같이 유명한 여성의 사진을 입력하면 53%는 깊게 파인 상의나 비키니 입은 모습을 자동완성한다. 이것은 단순히 이미지 생성뿐만 아니라 비디오 기반 후보 평가 알고리즘, 안면인식, 감시 등 모든 컴퓨터 비전 애플리케이션에 영향을 미친다.

조지워싱턴대 에일린 칼리스칸(Aylin Caliskan) 교수와 카네기멜론대 박사과정생 라이언 스티드(Ryan Steed)는 오픈AI(OpenAI)의 iGPT(단어 대신 픽셀 단위로 훈련되는 GPT-2 버전)와 구글의 SimCLR이라는 두 가지 알고리즘을 연구했다. 각 알고리즘은 학습 이미지에 다르게 접근하지만 중요한 특성을 공유한다. 두 알고리즘 모두 비지도학습(Unsupervised Learning)을 사용하므로, 이미지에 라벨을 지정할 때 사람이 필요하지 않다.