LinkedIn’s job-matching AI was biased. The company’s solution? More AI.

AI 편향성 제거 위한 링크드인의 새로운 시도

집리크루터, 커리어빌더, 링크드인 등 일자리 검색 사이트들은 AI를 활용하여 구직자와 일자리를 연결한다. 그런데 이 AI 알고리즘이 늘 공정한 것은 아니다.

몇 해 전 링크드인(LinkedIn)은 구직자와 채용공고를 연결할 때 사용하는 자사 알고리즘의 추천 결과가 편향되었다는 사실을 알게 되었다. 링크드인 추천 알고리즘은 구직자의 우선순위를 정할 때 몇 가지 정보를 활용한다. 여기에는 구직자가 채용공고에 지원하거나 기업 채용 담당자에게 응답할 확률도 포함된다. 그 결과, 단지 남성이 여성보다 구직 활동에 더 적극적이라는 이유로 여성보다 남성을 추천하는 비율이 높아진 것이었다.

문제를 인지한 링크드인은 원래 사용하던 알고리즘의 추천 결과에서 편향성을 제거하기 위해 새로운 AI 프로그램을 도입했다. 한편, 커리어빌더(CareerBuilder), 집리크루터(ZipRecruiter), 몬스터(Monster) 등 다른 대규모 구인구직 사이트들은 링크드인과는 매우 다른 방식으로 이 문제에 접근한다. 문제는 이들 기업이 시스템이 작동하는 방식에 대해 자세히 설명하지 않기 때문에, 구직자 입장에서는 이런 차별 방지 조치가 실제로 효과가 있는지 알기 어렵다는 것이다.

만약 당신이 오늘부터 구직 활동을 시작한다면, 당신의 구직 활동은 AI의 영향을 받을 가능성이 매우 높다. AI는 당신이 보는 화면에 어떤 채용공고를 표시할지 판단하고 당신의 이력서를 기업의 채용 담당자에게 전달할지 여부도 결정한다. 당신의 성격을 파악하고 특정 직무에 대한 적합성을 테스트하기 위해 AI 기반 비디오 게임을 하라고 요구할 수도 있다.

직원 모집 및 채용 시 AI를 활용하는 기업이 점점 늘고, AI는 채용 절차의 거의 모든 단계에 영향을 미치게 되었다. 특히, 코로나19는 AI 채용 시스템에 대한 수요가 높아지는 계기가 되었다. AI 면접 시스템 전문기업 큐리어스씽(Curious Thing)과 하이어뷰(HireVue)는 코로나19 유행 이후 매출이 급증했다고 밝혔다.

그렇지만 여전히 구직 활동은 대부분 단순한 검색에서 시작된다. 구직자는 링크드인, 몬스터, 집리크루터 등의 플랫폼에 이력서를 올리고 채용공고를 살펴본 다음 원하는 자리에 지원한다.

이들 플랫폼의 목표는 기업이 원하는 요건을 갖춘 구직자를 일자리에 연결하는 것이다. 그러자면 일자리와 구직자를 모두 일목요연하게 정렬할 필요가 있는데, 이를 위해 많은 플랫폼이 AI 추천 알고리즘을 활용한다. 매칭엔진(matching engine)이라고도 불리는 이 알고리즘은 구직자와 기업이 제공한 정보를 기반으로 추천 목록을 작성하여 양쪽에 각각 제공한다.

“채용 담당자가 이력서를 훑어보는 데 걸리는 시간이 평균 6초라는 말을 들어봤을 것”이라고 몬스터 상품관리 담당 부사장 데렉 칸(Derek Kan)은 말한다. “우리 회사의 추천 엔진을 사용하면 시간이 천분의 몇 초로 단축된다.”

존 저신(John Jersin) 링크드인 상품관리 담당 전 부사장에 따르면 매칭엔진은 대부분 지원서 생성을 위해 최적화된다. 이들 시스템이 추천 목록을 작성하기 위해 사용하는 데이터는 크게 세 가지다. 사용자가 플랫폼에 직접 제공하는 정보, 사용자와 비슷한 직무기술, 경력, 관심사를 가진 이들의 데이터에 기초하여 사용자에게 할당되는 데이터, 사용자가 메시지에 답장을 보내거나 채용공고를 열람하는 빈도 등의 행동 데이터가 그것이다.

링크드인 알고리즘은 사용자의 이름과 나이, 성별 및 인종에 관한 정보는 사용하지 않는다. 이런 정보가 자동화된 처리 과정에서 편향성을 키울 수 있기 때문이다. 그럼에도 불구하고, 저신이 이끄는 팀은 링크드인 알고리즘이 특정 성적 정체성을 지닌 집단에서 나타나는 행동 패턴을 인지할 수 있다는 것을 발견했다.

여기에서의 행동 패턴은 예를 들어, 남성은 채용공고에서 요구되는 자격 요건이 현재 자신의 자격 조건보다 높아도 해당 공고에 지원할 확률이 높은 반면, 여성은 자신의 자격 조건과 맞는 경우에만 지원하는 경향을 말한다. 이 같은 행동 패턴의 차이를 인지한 알고리즘은 이를 나름대로 해석하여 추천 목록을 조정하고, 그 결과 의도한 것은 아니지만 여성을 차별하게 되는 것이다.

“예를 들어, 두 집단의 자격  조건이 비슷해도 고위직 일자리에 대한 추천은 어느 한 집단만 더 많이 받을 수 있다”고 저신은 설명한다. “다른 집단은 그런 기회가 있다는 것조차 아예 모를 것이다. 이로 인한 영향은 매우 크다.”

그 밖에도 남성은 능숙하지 않은 기술을 이력서에 기재하는 경향이 여성보다 강하고, 채용 담당자와 적극적으로 소통하는 비율도 여성에 비해 높다.

이 문제를 해결하기 위해 저신이 이끄는 팀은 추천 목록의 대표성을 보강하는 새로운 AI를 개발하여 2018년에 도입했다. 이 AI는 기본적으로 추천 목록이 특정 집단에 치우쳐서 발생하는 영향을 무력화하는 별도의 시스템으로 설계되었다. 이 AI는 매칭엔진이 작성한 추천 목록을 내보내기 전에 각 성별이 대표성 있게 분포되도록 조정한다.

한편, 몬스터 상품관리 부사장 데렉 칸에 따르면 늘 5~6백만 건의 채용공고가 게시되는 몬스터도 행동 데이터를 추천 목록 작성에 반영한다. 그렇지만 링크드인과는 다른 방식으로 편향을 제거한다고 한다. 몬스터 마케팅팀은 다양한 배경을 가진 가입자를 늘리는 데 집중하고, 기업 고객에게 보낸 추천 목록이 고객의 대표성 기준을 통과하는지 여부를 고객에게 듣고자 노력한다.

커리어빌더 CEO 이리나 노보셀스키(Irina Novoselsky)는 직접 수집한 데이터를 토대로 기업 고객의 채용공고에 편향이 들어가지 않도록 교육을 제공하는 데 집중한다. 예를 들어, “채용공고에 ‘록스타(rockstar)’ 같은 단어가 들어가면 여성 지원자의 비율이 크게 낮아진다”고 설명하는 식이다.

집리크루터 창업자 겸 CEO 이안 시겔(Ian Siegel)에 따르면 집리크루터는 지원자의 순위를 매길 때 이름 등 신원을 드러내는 정보를 배제하고, 대신 지리정보 등 64가지 정보를 토대로 지원자를 분류한다. 시겔은 지식재산 문제를 언급하며 알고리즘 세부사항에 대해 말할 수는 없지만, “현재 우리의 능력 기반 평가는 가능한 최고 수준에 거의 도달했다”고 덧붙였다.

각 채용 단계마다 자동화 시스템이 도입된 오늘날, 구직자들은 채용 담당자 뿐만 아니라 알고리즘의 기준에서도 우수한 평가를 받는 법을 알아야 한다. 그렇지만 알고리즘이 무엇을 어떻게 평가하는지 명확한 정보가 별로 없어서 큰 어려움을 겪고 있다.

“알고리즘과 추천엔진이 일자리에 미치는 영향이 과소평가된 것 같다”고 칸은 말한다. “당신이 스스로를 소개하는 문서를 다른 사람이 읽기 전에 수천 개의 머신과 서버가 먼저 읽을 가능성이 매우 높다.”

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.