UNIST, 챗GPT로 AI들의 ‘소통 규칙’ 자동 설계…협동 로봇·드론 군집 협업 효율↑

여러 AI가 제한된 정보만 가진 환경에서 서로 무엇을 주고받아야 할지를 자동으로 정해주는 AI 소통 기술이 나왔다.

UNIST는 인공지능대학원 한승열 교수팀이 대형언어모델(LLM, 방대한 데이터를 학습해 사람의 언어를 이해하고 생성하며 추론·코드 작성까지 수행하는 AI 모델)의 추론 능력을 이용해 다중 에이전트 강화학습의 통신 방식을 설계하고 개선하는 ‘LMAC(LLM-driven Multi-Agent Communication)’ 기술을 개발했다고 13일 밝혔다.

드론 군집이 함께 산불을 끄거나 자율주행차들이 충돌을 피하려면, 각 AI가 똑똑한 것만으로는 부족하고 서로에게 필요한 정보를 제때 전달하는 소통 능력이 함께 필요하다. 이번 성과는 그 소통 규칙을 사람이 일일이 설계하는 대신 챗GPT 같은 대형언어모델이 스스로 만들고 보완하게 한 것으로, 여러 AI가 협력해야 하는 실제 환경의 기반 기술이 될 것으로 기대된다.

AI끼리도 ‘무엇을 말할지’가 성능을 가른다

여러 AI 에이전트가 하나의 환경에서 함께 목표를 달성하도록 학습하는 기술을 다중 에이전트 강화학습(MARL, Multi-Agent Reinforcement Learning)이라 부른다. 자율 드론과 로봇 협업, 자율주행, 스마트 팩토리 등에서 주목받는 방식이다. 문제는 실제 환경에서 각 에이전트가 전체 상황의 일부만 볼 수 있다는 데 있다. 이 때문에 서로 필요한 정보를 주고받는 통신 능력이 협력 성능을 좌우한다.

기존 통신 기법에는 뚜렷한 한계가 있었다. 모든 정보를 한꺼번에 공유해 비효율적이거나, 반대로 협력에 꼭 필요한 핵심 정보를 충분히 전달하지 못하는 경우가 많았다. 특히 ‘어떤 정보가 누구에게 전달돼야 하는가’를 의미적으로 판단하기 어려워, 에이전트들이 같은 상황을 균일하게 이해하지 못하는 문제가 생겼다.

LMAC은 이 지점을 겨냥한다. 드론 군집이나 협동 로봇, 자율주행차처럼 각 장치가 전체 상황의 일부만 볼 수 있는 환경에서, 각 AI가 수집한 정보 가운데 무엇을 어느 팀원에게 전달해야 할지를 규칙으로 정해주는 기술이다. 제1저자인 배상준 연구원은 “기존 다중 에이전트 통신 연구는 메시지를 어떻게 학습할지에 집중했지만, 어떤 정보가 협력에 본질적으로 필요한지를 의미적으로 판단하는 데는 한계가 있었다”고 설명했다.

대형언어모델이 통신 규칙을 코드로 짜고, 빠진 정보는 스스로 채운다

핵심은 소통 규칙을 만드는 주체가 강력한 추론 능력을 지닌 대형언어모델이라는 점이다. 임무의 목표와 각 AI의 역할, 관측할 수 있는 정보의 의미를 자연어로 입력하면, 대형언어모델이 이를 분석해 필요한 정보를 골라 전달하는 통신 함수를 코드로 작성해 낸다. AI들이 주고받을 규칙을 사람이 짜는 것이 아니라, 언어모델이 과제 설명을 이해한 뒤 통신 프로토콜(여러 에이전트가 어떤 정보를 어떤 방식으로 주고받을지 정한 규칙)을 직접 설계하는 방식이다.

처음 만들어진 통신 규칙은 과거 강화학습 데이터를 바탕으로 자동 보완되도록 설계됐다. 평가 프로그램이 메시지를 받은 AI가 임무에 필요한 상황을 얼마나 정확히 파악했는지, 그리고 팀원 사이의 정보 격차를 찾아 피드백을 만들면, 대형언어모델이 이를 반영해 부족한 정보를 추가하고 통신 코드를 수정한다.

예를 들어 정찰 역할의 AI만 목표물의 위치를 볼 수 있는데 다른 AI들이 정찰 AI의 위치를 모른다면, “목표물이 내 오른쪽에 있다”는 정보만으로는 목표물의 실제 위치를 알아낼 수 없다. 평가 프로그램이 이 문제를 찾아내면, 대형언어모델은 정찰 AI의 위치와 이동 정보, 팀원 식별 정보, 공통 기준 좌표 등을 추가하도록 통신 코드를 자동으로 수정한다. 빠진 정보를 스스로 찾아 규칙을 보완하는 셈이다.

스타크래프트Ⅱ 실험서 승률 96.2%…기존 방식 크게 앞서

연구팀은 전달된 메시지를 강화학습에 효과적으로 활용하는 학습 구조도 함께 설계했다. 각 AI는 받은 정보를 그대로 쓰지 않고 협력에 필요한 내용만 압축하며, 자신이 파악한 정보가 얼마나 믿을 만한지도 함께 배운다. 또한 실제 학습 단계에서 대형언어모델을 매 순간 호출하는 것이 아니라, 완성된 코드가 각 AI의 관측값을 받아 메시지를 만들기 때문에, 매 순간 언어모델을 쓰는 방식보다 비용과 연산 부담을 줄일 수 있다.

성능은 게임 환경에서 검증됐다. 연구팀은 스타크래프트Ⅱ에서 적을 볼 수 있는 정찰 유닛인 오버시어 1기와 적을 볼 수 없는 공격 유닛인 베인링 10기가 협력하는 과제로 LMAC을 시험했다. 그 결과 96.2%의 승률을 기록했다. 같은 학습 구조에 기존 통신 방식인 SMS와 TarMAC의 메시지를 적용했을 때는 승률이 각각 59.0%, 25.2%에 그쳤다.

한승열 교수는 “향후 자율 드론, 로봇 군집, 스마트 팩토리, 자율주행 협력 시스템처럼 여러 AI가 제한된 정보 속에서 함께 판단해야 하는 실제 환경에 중요한 기반 기술이 될 것”이라고 기대했다.