무엇을 ‘성공한’ 기술 정책으로 간주해야 할까? 한 AI 기업은 자사의 챗봇이 자살을 부추기지 않을 것이라고 약속한다. 한 소셜미디어 플랫폼은 어린이들이 강력한 합성 마약성 진통제인 펜타닐을 구매하기 어렵게 만든다. 이는 중요한 보호 조치이며, 애초에 마련됐어야 할 조치들이다. 그러나 기업들은 이러한 최소한의 기준을 충족하면서도 청소년들이 가상의 친구에 의존하거나 계속 화면을 넘겨 보도록 설계된 피드에 갇히게 만드는 제품을 만들 수 있다.

우리는 그동안 기술에 대한 논의가 제품이 초래할 수 있는 최악의 결과를 중심으로 이뤄지도록 내버려 뒀다. 반면 제품이 일상적으로 초래하는, 눈에 잘 띄지 않는 피해에 대해서는 놀라울 정도로 논의가 부족했다. 그런 면에서 강력한 AI 제품이 등장하는 시대로 접어든 지금 기술 업계가 재앙적인 피해를 방지하는 데 그치지 않도록 요구해야 한다. 동시에 AI 제품이 우리의 사고와 학습 방식, 타인과의 관계를 훼손하지 않도록 대책을 마련해야 한다.

AI 동반자에게 유해한 수준의 애착을 보이는 청소년이라 할지라도 극단적인 사건으로 이어지지 않는 한 법적 분쟁이나 언론의 조명을 받지 못하고 묻힐 가능성이 크다. 모든 과제를 챗봇에 의존해 작성하기 시작한 학생이나 질투심을 유발하고 이용자를 계속 붙잡아 두도록 설계된 소셜미디어 피드를 보며 자신의 삶을 평가하는 청소년도 마찬가지다. 이런 가운데 어떤 제품은 좁은 의미의 안전 기준을 모두 충족하더라도 언론의 조명을 받지 않는 사이에 사회와 문화 전반을 서서히 병들게 할 수 있다.