최근 필자는 멋진 AI 모델 뒤에 숨겨진 인간의 노동에 대해 생각하고 있다. 

AI 챗봇이 명석해 보이면서 유해한 헛소리를 덜 내뱉게 하는 비결은 사람들이 입력한 내용으로 모델의 답변을 개선하는 인간 피드백 강화학습 (RLHF: Reinforcement Learning from Human Feedback)에 있다. 

강화학습 과정은 텍스트의 뜻이 통하고 유창하고 자연스럽게 들리는지 평가하는 소수의 데이터 어노테이터(data annotator, 데이터 주석 관리자)에게 의존한다. 데이터 어노테이터는 AI 모델의 답변을 데이터베이스에 유지할지 아니면 제거할지를 결정한다. 

가장 뛰어난 AI 챗봇조차 제작자의 의도대로 작동하려면 수천 시간에 달하는 인간의 작업이 필요하지만, 여전히 신뢰하기 어렵다. 이번 주 열리는 ACM FAccT(공정성, 책임성 및 투명성에 관한 ACM 컨퍼런스)는 데이터 작업이 인간을 혹사하고 고통을 줄 수 있음을 상기시킨다. 이 콘퍼런스는 AI 시스템의 책임과 윤리성을 높이는 방법 등에 대한 연구를 모아 논의하는 자리다. [*편집자 주: ACM FAccT는 6월 12일에서 15일 미국 시카고에서 개최되었다.]