
Stephanie Arnett/MIT Technology Review | Adobe Stock
These new AI benchmarks could help make models less biased
AI 편향성 해소 위한 새로운 벤치마크, 스탠퍼드대 연구진이 개발
스탠퍼드대 연구진이 AI의 편향성과 AI가 세상을 얼마나 잘 이해하고 있는지를 보다 정교하게 평가해 기존 벤치마크보다 AI를 덜 편향되게 만드는 데 효과적인 새로운 벤치마크를 개발했다.
스탠퍼드 대학 연구진이 AI 모델의 편향성을 완화하는 데 효과적인 벤치마크를 새로 개발했다. 더욱 공정하고 편향성이 적은 AI 모델을 만들 수 있을 것으로 기대되는 이 새 벤치마크 개발과 관련된 연구 결과는 2월 초 미국 코넬 대학교에서 운영하는 무료 논문저장 사이트인 아카이브(arXiv) 출판전 서버에 게시됐다.
새 벤치마크를 개발한 연구진은 AI 모델의 편향성을 줄이기 위해 기존에 사용된 방식에서 나타난 ‘어색한 실수’를 목격하고 이를 해결하기 위한 연구에 뛰어들었다. 기존 방식을 사용하는 모델들은 현재 기준이 되는 공정성 벤치마크에서 쉽게 고득점을 얻었지만, 실상은 부정확한 결과물을 생성하기 일쑤였다. 예를 들어, 구글 제미나이는 미국 건국의 아버지를 인종적으로 다양하게 묘사하거나 흑인 나치 군인 그림을 그리는 등 역사적으로 오류를 범한 이미지를 생성했다.
논문의 주저자인 스탠퍼드 인간중심AI연구소(Stanford Institute for Human-Centered Artificial Intelligence)와 규제·평가·거버넌스연구소(RegLab) 소속의 안젤리나 왕(Angelina Wang) 박사 후 연구원은 “모든 사람을 완전히 똑같이 대해야 한다는 원칙에만 집중하면 사실과는 다른 왜곡된 결과가 나올 수 있다”면서 “실제로는 이유가 분명한 차이가 있는데도 불구하고 모든 사람을 동등하게 취급하도록 강요하는 셈이기 때문”이라고 말했다.