fbpx
Google DeepMind is worried about what happens when millions of agents start to interact

“수백만 AI 에이전트 시대에 새로운 위험이 온다”…구글 딥마인드의 경고

구글 딥마인드가 다중 에이전트 시스템의 위험성을 연구하기 위해 1,000만 달러 규모의 연구 지원 프로그램을 출범시켰다.
📋한눈에 보는 AI 요약AI 자동 요약▶ 펼쳐보기

구글 딥마인드가 AI 에이전트들이 대규모로 인터넷에서 활동할 때 발생할 수 있는 위험을 연구하기 위해 약 150억 원 규모의 연구 지원 프로그램을 시작했습니다. AI 에이전트란 사람의 지시 없이도 스스로 판단하고 행동하는 인공지능 프로그램을 말합니다. 이런 에이전트가 수백만 개씩 동시에 활동하면서 서로 소통하게 되면, 사기나 해킹 같은 문제가 지금보다 훨씬 심각해질 수 있습니다. 연구팀은 이러한 위험이 현실이 되기 전에 미리 대비책을 마련하고자 하며, 기업 내부뿐 아니라 대학 등 외부 연구자들도 함께 참여하도록 돕고 있습니다. 전문가들은 기존의 보안 체계가 AI 에이전트 시대에는 더 이상 충분하지 않다고 경고하고 있습니다.

왜 중요한가요?

AI 에이전트가 우리 생활 곳곳에 퍼지면 온라인 사기, 해킹, 개인정보 유출 등의 위험이 훨씬 커질 수 있기 때문에, 미리 안전 기준과 대비책을 마련하는 것이 우리 모두의 안전에 직접적으로 중요합니다.

주요 용어 설명
프롬프트 인젝션 (Prompt Injection)

AI에게 몰래 나쁜 명령을 심어서 원래 해야 할 일과 다른 행동을 하게 만드는 공격 방법입니다. 예를 들어, AI가 읽는 문서 안에 숨겨진 명령어를 넣어서 AI를 조종하는 것과 비슷합니다. 사람에게 거짓말로 속여서 잘못된 행동을 하게 만드는 것과 유사한 개념입니다.

다중 에이전트 시스템 (Multi-Agent Systems)

여러 개의 AI 에이전트가 동시에 활동하면서 서로 소통하고 협력하는 환경을 말합니다. 마치 수많은 직원들이 각자 역할을 맡아 함께 일하는 큰 회사처럼, AI들이 서로 정보를 주고받으며 작업을 수행하는 것입니다. 이때 개별 AI 하나만으로는 예상하지 못했던 새로운 문제가 생길 수 있습니다.

제로 트러스트 (Zero Trust)

아무도 기본적으로 믿지 않고, 모든 접근과 행동을 매번 확인하는 보안 원칙입니다. 마치 집에 들어올 때마다 가족이라도 매번 신분증을 확인하는 것처럼, 시스템에 접근하는 모든 요청을 항상 검증하는 방식입니다. AI 에이전트가 해킹당하거나 악용될 수 있다는 전제 아래 설계된 접근법입니다.

범용인공지능 (AGI, Artificial General Intelligence)

특정 작업만 잘하는 현재의 AI와 달리, 사람처럼 어떤 분야든 스스로 배우고 생각할 수 있는 수준의 인공지능을 말합니다. 지금의 AI가 한 과목만 잘하는 학생이라면, AGI는 모든 과목을 다 잘하는 만능 학생에 비유할 수 있습니다. 아직 완전히 실현되지는 않았지만 많은 연구자들이 이를 향해 연구하고 있습니다.

샌드박스 환경 (Sandbox Environment)

실제 시스템에 영향을 주지 않도록 격리된 안전한 테스트 공간을 말합니다. 어린이가 모래놀이터에서 자유롭게 놀 수 있지만 그 밖의 세상에는 영향이 없는 것처럼, AI를 이 가상 공간에 넣어 어떤 행동을 하는지 안전하게 관찰할 수 있습니다. 연구자들은 이 환경에서 AI 에이전트들의 상호작용을 실험하고 위험 요소를 파악합니다.

⚡ Claude AI가 독자를 위해 자동 생성한 요약입니다. 원문을 함께 읽어보세요.

구글 딥마인드가 수백만 개의 AI 에이전트가 온라인에서 서로 상호작용하는 환경에서 발생할 수 있는 사기, 프롬프트 인젝션(prompt injection), 자율적 사이버 공격 등의 위험을 연구하기 위해 총 1,000만 달러(약 150억 원) 규모의 연구 지원 프로그램을 출범시켰다.

구글 딥마인드에서 범용인공지능(AGI) 안전성과 정렬 연구를 총괄하는 로힌 샤(Rohin Shah)는 “인간의 감독 없이 업무를 수행하고 다른 AI 에이전트의 지시까지 따를 수 있는 에이전트가 대중화되면서 완전히 새로운 유형의 위험이 등장하고 있다”며 이번 프로그램 출범 배경을 설명했다.

연구자들은 다중 에이전트 시스템(multi-agent systems)의 행동을 분석하고 위험한 상황을 예방할 수 있는 방안을 연구하게 된다. 이번 프로젝트에는 구글 딥마인드를 비롯해 에릭·웬디 슈미트(Eric and Wendy Schmidt)가 설립한 자선재단 슈미트 사이언스(Schmidt Sciences), 영국 정부 산하 독립 연구기관 아리아(ARIA), 영국 비영리 연구기관 협력적 AI 재단(Cooperative AI Foundation), 구글의 사회공헌 조직 구글닷오알지(Google.org) 등이 참여한다.

MIT 테크놀로지 리뷰와 함께, 미래를 앞서가세요 !!
한달에 커피 2잔값으로 즐기기
온라인 멤버
지면 매거진 멤버
(온라인+지면) 프리미엄 멤버

유료회원 플랜 보기 회원이면 로그인하기 회원가입

회원 가입 후 유료 구독 신청을 하세요 !!