조 바이든 대통령이 지난달 30일(현지시간) 역대 가장 포괄적인 인공지능(AI) 규제와 지침이 담긴 행정명령에 서명했다. 이 행정명령으로 인해 이제 AI 기업은 그들이 만든 AI 모델의 작동 메커니즘에 대해 더 투명하게 공개해야 한다. 또 AI로 생성된 콘텐츠임을 표시하는 라벨 부착과 관련한 표준 등 일련의 새로운 표준도 마련될 예정이다.

백악관에 따르면 행정명령의 가장 큰 목적은 ‘AI 안전과 보안의 개선’이다. 행정명령은 안전 테스트 결과 새로운 AI 모델이 국가 안보에 위험을 초래할 수 있는 것으로 드러날 경우 개발사가 테스트 결과를 미국 정부와 공유하도록 요구하고 있다. 이는 국가 비상사태 시 주로 사용되는 국방물자생산법(Defense Production Act) 발동에 해당하는 놀라운 조치다.

행정명령은 백악관이 지난 8월에 수립한 AI 정책에 대한 자발적 준수 요건을 진전시킨 것이다. 하지만 규제 시행 방식을 둘러싼 구체적인 내용이 담겨 있지는 않다. 이 행정명령은 또 미래의 대통령에 의해 언제든 뒤집힐 수 있으며, AI에 대한 의회 입법의 정당성도 부족하다. 단기간 내에 이런 정당성이 마련될 가능성은 낮아 보인다.

디지털 규제 전문가인 아누 브래드포드(Anu Bradford) 컬럼비아 대학교의 법학 교수는 “미 의회의 분열이 심할 뿐만 아니라 심지어 기능 장애까지 겪고 있어서 가까운 시일 내에 의미 있는 AI 법안을 만들어낼 가능성은 매우 낮다”고 전망했다.

그럼에도 불구하고 AI 전문가들은 특히 지폐나 컴퓨터 등의 분야에서 불법복제를 막기 위해 개발된 복제방지 기술인 워터마킹과 미국 국립표준기술연구소(NIST)가 정한 표준에 초점을 맞춘 이번 행정명령을 ‘중요한 진전’이라고 평가했다. 다만 일각에서는 AI로 인한 즉각적인 피해로부터 사람들을 보호하기에는 이것만으로 충분하지 않다는 회의적인 시각도 제기됐다.

바이든 대통령이 서명한 행정명령과 그것이 미칠 수 있는 영향과 관련해 알아야 할 가장 중요한 세 가지 사항을 정리해 봤다.

AI로 생성된 콘텐츠 라벨링에 관한 새로운 규정은 무엇인가?

백악관의 행정명령에 따라 상무부는 AI가 생성한 콘텐츠에 라벨을 부착하기 위한 지침을 개발해야 한다. 그러면 AI 기업은 상무부가 개발한 지침을 기준으로 백악관이 연방 기관들이 채택해주기를 바라는 라벨링과 워터마킹 도구를 개발하면 된다. 백악관은 지난 주말에 공유한 팩트 시트를 통해 “연방 기관은 이러한 도구를 사용해 미국인들이 정부로부터 수신하는 커뮤니케이션이 진짜임을 쉽게 알 수 있게 만듦으로써 전 세계 민간 부문과 정부에 모범을 보일 것”이라고 밝혔다.

이렇게 라벨링을 통해 텍스트, 오디오, 시각적 콘텐츠의 출처가 표시되면 온라인에서 특정 콘텐츠가 AI를 사용해 생성된 콘텐츠임을 더 쉽게 알 수 있을 것으로 기대된다. 이러한 종류의 도구는 AI를 기반으로 한 이미지 합성 기술인 딥페이크(deepfake)와 허위 정보처럼 AI로 인한 문제 해결책으로 널리 제시되어 왔다. 구글과 오픈AI 등 주요 AI 기업들도 지난 8월 발표된 백악관과의 자발적 서약에서 이러한 기술을 개발하겠다고 약속한 바 있다.

문제는 워터마크 같은 기술이 아직 연구 중이라는 점이다. 현재 텍스트에 라벨을 붙이거나 콘텐츠가 기계적으로 생성되었는지를 조사할 수 있는 전적으로 신뢰할 수 있는 방법은 존재하지 않는다. AI 탐지 도구를 여전히 속이기 쉽다.

아울러 이번 행정명령이 업계 종사자나 정부 기관이 이러한 기술을 사용하도록 의무화하도록 강제하는 것도 아니다.

백악관 대변인은 이와 관련해 앞으로 어떤 요구가 나오리라고 예상되느냐는 MIT 테크놀로지 리뷰 기자의 질문에 “암호화 서명에 대한 요구가 나올 것”이라며 “이번 행정명령은 그전에 이루어져야 할 기술 개발을 촉진하기 위한 것”이라고 설명했다.

백악관은 콘텐츠 출처와 진위를 확인하는 연합체인 C2PA(Coalition for Content Provenance and Authenticity)와 이러한 기술의 개발과 사용을 추진할 계획이다. MIT 테크놀로지 리뷰가 앞서 보도한 바와 같이 기업들이 AI로 생성된 콘텐츠에 라벨을 붙이기 위한 작업에 속도를 내면서 이 이니셔티브 및 이와 관련 오픈소스 커뮤니티는 최근 몇 달 동안 급성장하고 있다. 어도비, 인텔, 마이크로소프트 같은 주요 IT 기업이 참여하고 있는 C2PA는 암호화 기술을 사용하여 콘텐츠의 출처에 대한 정보를 인코딩하는 새로운 인터넷 프로토콜을 고안했다.

C2PA는 백악관과 공식적인 관계를 맺고 있는 건 아니다. 또 백악관과의 협업이 어떤 형태로 이루어질지도 불분명하다. 이에 대한 질문에 대정부 업무팀의 공동 의장인 무니르 이브라힘(Mounir Ibrahim)은 “C2PA는 한동안 국가안전보장회의(NSC) 및 백악관의 여러 부서와 정기적으로 접촉해 왔다”고만 답했다.

에밀리 벤더(Emily Bender) 워싱턴 대학교 언어학과 교수는 워터마킹 개발에 집중하기로 한 걸 긍정적으로 평가하면서 텍스트용 콘텐츠 라벨링 시스템도 개발되기를 바란다고 말했다. 현재 워터마킹 기술은 이미지와 오디오에 가장 효과적이라는 점을 의식한 발언이다. 벤더 교수는 “물론 반드시 행정명령이 내려져야 워터마킹 기술이 개발되는 건 아니지만, 그런 합리적인 시스템의 존재를 증명하는 것만으로도 중요한 단계가 될 것”이라고 기대했다.

행정명령은 효력이 있을까? 강제성은 있는가?

이번 행정명령에는 과거 미국 정부의 AI 규제와 비교해서 더 강력한 규제가 담겨 있지만, 새로운 지침의 시행 방법이나 시행 여부보다는 모범 사례와 표준을 수립하는 데 훨씬 더 초점을 맞추고 있다.

행정명령은 AI 모델이 출시되기 전에 NIST가 광범위한 ‘레드팀(red team·취약점을 발견해 공격하는 역할을 부여받은 팀)’ 테스트에 대한 표준을 설정할 것을 요구한다. NIST는 이미 안면 인식 같은 AI 시스템이 얼마나 정확하거나 편향되어 있는지 문서화하는 데 어느 정도 효과를 거둬왔다. 예를 들어, 2019년에 200개가 넘는 안면 인식 시스템을 대상으로 실시한 연구에서는 이 기술에 광범위한 인종적 편견이 존재한다는 사실을 밝혀냈다.

그러나 행정명령은 AI 기업이 NIST 표준이나 테스트 방법을 준수할 것을 강제하지는 않는다. 컬럼비아 대학교의 브래드포드 교수는 “행정명령의 많은 부분이 여전히 기술 기업의 자발적인 협력에 의존하고 있다”고 설명했다.

행정명령에 따르면 계산 규모가 특정 임계값을 초과하는 새로운 AI 모델을 개발하는 모든 기업은 시스템을 훈련할 때 연방정부에 통보하고, 국방물자생산법에 따라 안전성 테스트 결과를 공유해야 한다. 국방물자생산법은 주로 전쟁이나 코로나19 팬데믹(대유행) 같은 국가 비상사태 시 민간기업에 정부 계약을 우선 이행하거나 주요 물품의 생산을 확대하도록 주문할 수 있도록 하는 법이다. 따라서 AI 모델 개발과 관련해 이 법에 의존한다는 건 이례적인 일이다. 백악관 대변인은 “이 법을 강제 집행할 수 있고, 향후 미국에서 출시되는 모든 상업용 AI 모델에 적용될 것”이라고 말했다. 하지만 이미 출시된 AI 모델에는 적용되지 않을 가능성이 높다. 백악관의 팩트 시트에 따르면 ‘국가 안보, 국가 경제 안보, 국가 공중 보건 및 안전’에 위험을 초래할 수 있는 모든 주요 AI 모델이 이 법의 적용 대상이다.

행정명령은 또한 연방기관이 노동자 권리 지원, 소비자 보호, 공정 경쟁 보장, 정부 서비스 관리 등 다양한 적용 사례에 대한 규정과 지침을 개발할 것을 요구한다. 이러한 보다 구체적인 지침은 개인정보 보호와 편향 방지에 우선순위를 두고 있다.

AI 스타트업 허깅페이스(Hugging Face)의 연구원이자 수석 윤리 과학자인 마가렛 미첼(Margaret Mitchell)은 “적어도 이러한 문제를 진지하게 다룰 수 있는 다른 기관에 힘을 실어주는 것만으로도 큰 의미가 있다”면서 “다만 AI로 인해 심각한 피해를 입은 일부 사람들은 실제로 자신의 권리를 제대로 보호받기 위해서는 훨씬 더 힘들고 지친 싸움을 해야 할 것”이라고 말했다.

그렇다면 기술 기업들의 반응은?

주요 기술 기업들은 행정명령을 대체로 환영했다.

브래드 스미스(Brad Smith) 마이크로소프트 부회장 겸 사장은 “AI 기술 거버넌스에 있어 또 하나의 중요한 진전이 이뤄졌다”고 평가했다. 켄트 워커(Kent Walker) 구글 글로벌 담당 사장은 “정부 서비스를 더 좋고, 빠르고, 안전하게 만드는 등 AI의 잠재력을 극대화하기 위해 정부 기관과 건설적으로 협력하기를 기대한다”고 말했다.

다나 라오(Dana Rao) 어도비 법률 고문 겸 최고 신뢰 책임자는 “백악관이 책임감 있는 AI 관행을 위한 프레임워크를 만들어 AI의 성장에 투자한다는 건 매우 반가운 일”이라고 말했다.

백악관의 접근 방식은 제한과 규제보다는 혁신과 경쟁을 강조하는 실리콘 밸리에 우호적인 태도를 유지하고 있다. 이러한 전략은 척 슈머 상원 원내대표가 제시한 AI 규제와 관련된 정책 우선순위에 부합하며, 미국이 AI 분야를 강하게 규제할 생각은 없다는 것을 드러내준다.

그러나 일부 AI 연구들은 이러한 정부의 전략에 대해 우려의 목소리를 냈다. 미첼도 그런 연구원 중 하나로, 그녀는 “예측 가능한 피해를 최소화하기 위해 AI 모델을 훈련하고 개발하는 방법에 대한 많은 연구가 진행되고 있지만 그런 노력이 무시되고 있다는 점이 가장 우려스럽다”고 말했다.

예를 들어, 기술 기업의 데이터 관행을 개선함으로써 AI 모델이 출시되기 전에 피해를 사전 예방하기보다 백악관은 이미 드러난 문제를 해결하는 ‘두더지 잡기’식으로 해결하려고 한다는 게 그녀의 생각이다.

많은 기대를 모았던 이번 행정명령은 영국에서 제1회 AI 안전 정상회의(AI Safety Summit)가 열리기 이틀 전에 발표됐다.

행정명령은 미국 이외의 지역에도 영향을 미칠 가능성이 높다. 이것이 미국이 유럽연합(EU)의 많은 정책 목표에 동의한다는 분명한 메시지를 전달하기 때문에 EU가 AI 법을 마무리하는 데도 힘을 실어줄 것으로 기대된다.

브래드포드는 “행정명령은 현재로서는 미국 정부에 기대할 수 있는 최선일 것”이라고 말했다.