The UK exam debacle reminds us that algorithms can’t fix broken systems

영국 졸업시험 사건이 보여주는 알고리즘의 한계

대입시험 감독당국이 궁극적인 목표는 잊고, 표준화(standardization)에만 집착하면서 문제가 시작되었다.

영국 시험감독 당국이 졸업시험 대체방안 마련에 착수할 때 내세웠던 근거는 논리적으로 완벽한 것 같았다. 코로나 사태로 대면시험 실시가 어려워졌지만, 대입을 진행하기 위해서는 어떤 식으로든 학업 성적을 평가해야 한다는 것이었다.

이와 관련하여 감독당국이 가장 신경을 쓴 것은 공정성 확보 문제였다. 연구에 따르면 그동안 교사들이 평가한 학생들의 학업성취도 예상점수가 나이, 성별, 인종에 따라 편향성을 보인다는 지적이 있었기 때문이다. 몇 차례의 전문가 회의와 협의를 거쳐 대입시험감독청(Office of Qualifications and Examinations Regulation, 이하 Ofqual)은 알고리즘 기반 성적 산출 시스템을 도입했다. 바로 이 지점에서 일이 완전히 잘못된 방향으로 흘러가기 시작했다.

알고리즘 기반 시스템으로 성적을 산출한 결과 학생의 거의 40%가 교사 예상점수 보다 낮은 점수를 받아 자신이 지원한 대학에 들어가지 못할 위기에 놓인 것이다. 분석 결과 알고리즘이 노동자 및 소외계층 학생에게는 지나치게 낮은 점수를 주고, 사립학교 학생에게는 지나치게 높은 점수를 주었다는 것이 밝혀졌다. 결국 8월 16일 런던에 위치한 교육부 청사 앞에 모인 수백 명의 시위대가 이에 항의하는 사태가 벌어졌다. 이들은 “알고리즘은 물러가라(Fuck the algorithm)”는 구호를 외쳤다. 다음날 Ofqual은 결정을 번복했으며, 학생들은 교사 예상점수와 알고리즘 산출점수 중 더 높은 점수를 받을 수 있게 되었다.

MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버

유료회원 플랜 보기 회원이면 로그인하기 회원가입

회원 가입 후 유료 구독 신청을 하세요 !!