나는 그동안 “데이터는 거짓말을 하지 않는다”는 말을 자주 들었다. 하지만 내 경험으로는 절대 그렇지 않다. 나의 경우 데이터는 늘 거짓말을 한다. 구글에서 ‘건강한 피부(healthy skin)’를 키워드로 넣고 이미지를 검색하면 창백한 피부를 가진 여성의 사진만 검색되고, ‘흑인 소녀(black girls)’를 넣으면 포르노 사진이 나온다. 셀럽(CelebA)가 제공하는 얼굴사진 데이터세트에는 ‘큰 코’, ‘두툼한 입술’ 같은 카테고리가 있다. 여기에는 나처럼 피부색이 어두운 여성의 사진이 압도적으로 많다. 이미지넷(ImageNet)으로 훈련한 모델은 나를 ‘나쁜 사람’, ‘마약 중독자’, ‘실패자로 분류한다. 피부암 발견을 위해 구축된 데이터세트에는 피부색이 어두운 사람의 표본은 들어있지 않다.