캘리포니아 팔로알토에 기반을 둔 스타트업 액시엄 매스(Axiom Math)가 수학자들을 위한 새로운 인공지능(AI) 도구 ‘엑스플로러(Axplorer)’를 공개했다. 오랜 기간 풀리지 않은 문제의 실마리가 될 수 있는 수학적 패턴을 찾아내도록 설계된 도구로, 무료로 사용할 수 있다.

엑스플로러는 현재 액시엄 매스에서 연구 과학자로 일하고 있는 프랑수아 샤르통(François Charton)이 2024년 메타 재직 당시 공동 개발한 ‘패턴부스트(PatternBoost)’를 재구성한 것이다. 기존 패턴부스트가 슈퍼컴퓨터 환경에서 구동됐던 것과 달리 엑스플로러는 맥 프로에서도 실행할 수 있도록 경량화됐다.

액시엄 매스는 패턴부스트가 보여준 성과를 더 많은 연구자들이 활용할 수 있도록 하는 데 초점을 맞추고 있다. 패턴부스트는 그래프 이론의 대표적 난제로 꼽히는 ‘투란 4-사이클 문제(Turán four-cycles problem)’ 해결에 활용된 바 있다. 엑스플로러는 이러한 수준의 분석을 개인용 컴퓨터에서도 수행할 수 있도록 만든 도구다.

이 같은 시도는 최근 수학 연구 환경의 변화와도 맞물려 있다. 지난해 미국 국방고등연구계획국(DARPA)은 수학자들이 AI 도구를 개발하고 활용하도록 장려하기 위해 ‘엑스프매스(expMath, Exponentiating Mathematics)’ 프로그램을 출범시켰다. 액시엄 매스 역시 이러한 흐름에 발맞춰 연구를 이어가고 있다.

샤르통은 “수학에서의 돌파구는 기술 전반에 큰 파급 효과를 가져온다”며 “새로운 수학적 발견은 차세대 AI 개발부터 인터넷 보안 강화에 이르기까지 컴퓨터 과학의 핵심 영역에서 중요한 역할을 한다”고 설명했다.

그동안 AI 도구는 주로 기존 문제의 해법을 찾는 데 활용돼 왔다. 하지만 카리나 홍(Carina Hong) 액시엄 매스 창립자 겸 최고경영자(CEO)는 “수학의 본질은 그보다 더 넓다”며 “수학은 단순히 해답 도출에 그치지 않는 탐색적이고 실험적인 학문”이라고 강조했다.

MIT 테크놀로지 리뷰는 최근 샤르통과 홍을 화상으로 만나 새 도구와 AI가 수학에 가져올 변화에 대해 이야기를 나눴다.

챗봇으로 푸는 수학

최근 몇 달 사이 일부 수학자들은 오픈AI의 GPT-5와 같은 대형언어모델(LLM)을 활용해 미해결 문제의 해법을 찾는 데 나서고 있다. 특히 20세기 수학자 에르되시 팔(Paul Erdős)이 남긴 수백 개의 난제를 중심으로 이런 시도가 이어지고 있다.

하지만 샤르통은 이런 흐름에 회의적인 입장이다. 그는 “아직 아무도 들여다보지 않아 열려 있는 문제는 많고, 그중 일부를 골라 해결하는 건 어렵지 않다”고 말했다. 지금까지의 성과가 본질적으로 더 쉬운 문제를 선별해 푼 데 그친다는 지적이다.

그가 주목하는 것은 전혀 다른 종류의 문제다. 오랜 시간 축적된 연구에도 불구하고 여전히 해결되지 않은 핵심 난제들이다. 액시엄 매스는 지난해 ‘액시엄프로버(AxiomProver)’를 활용해 이처럼 난도가 높은 문제 네 가지의 해법을 찾아냈다.

패턴부스트가 해결한 ‘투란 4-사이클 문제(Turán four-cycles problem)’ 역시 같은 부류의 난제다. 그래프 이론에 속하는 이 문제는 소셜미디어 연결망이나 공급망처럼 복잡한 네트워크를 분석할 때 활용되는 분야에서 다뤄진다. 점들을 가능한 한 많이 선으로 연결하되, 네 개의 점이 하나의 고리로 이어지는 구조는 만들지 않도록 하는 것이 핵심이다.

샤르통은 LLM의 한계도 분명하다고 본다. 그는 “LLM은 이미 존재하는 것을 바탕으로 변형하거나 확장하는 데는 매우 뛰어나다”며 “방대한 데이터를 학습했기 때문에 자연스러운 일이지만 결국 기존에 있는 것을 재활용하는 경향이 있다”고 평가했다.

문제는 수학이 단순한 확장으로는 풀리지 않는 영역이라는 점이다. 새로운 아이디어, 아직 누구도 떠올리지 못한 통찰이 필요한 분야다. 이런 통찰은 종종 기존에는 보이지 않던 패턴을 발견하는 데서 나온다. 그리고 그 발견이 새로운 수학 분야를 여는 출발점이 되기도 한다.

패턴부스트는 바로 이러한 ‘패턴 발견’을 돕기 위해 설계된 도구다. 하나의 예시를 입력하면 유사한 사례를 생성하고, 그중 의미 있어 보이는 결과를 다시 입력하면 이를 기반으로 새로운 패턴을 확장해 나간다. 이 과정을 반복하면서 새로운 규칙을 탐색하는 방식이다.

이 접근은 구글 딥마인드(DeepMind)의 ‘알파이볼브(AlphaEvolve)’와도 맞닿아 있다. 알파이볼브 역시 LLM을 활용해 새로운 해법을 제시하고, 그중 유망한 결과를 선별해 다시 개선하는 과정을 반복한다.

접근의 장벽

알파이볼브와 패턴부스트는 이미 오래된 수학 난제의 새로운 해법을 찾는 데 활용돼 왔다. 다만 이들 도구는 대규모 GPU 클러스터에서 구동돼야 하기 때문에 대부분의 수학자에게는 접근이 쉽지 않다는 한계가 있다.

샤르통은 “수학자들이 알파이볼브에 큰 관심을 보이고 있다”면서도 “폐쇄적으로 운영되는 도구라 접근 권한이 필요하고, 결국 딥마인드 연구자에게 문제를 대신 입력해달라고 요청해야 하는 상황”이라고 말했다.

샤르통이 패턴부스트로 투란 문제를 해결했을 당시에도 사정은 비슷했다. 그는 당시 메타에 재직 중이었다. “수천 대, 많게는 수만 대의 머신을 동원해 실험을 돌릴 수 있었다”며 “3주 동안 계속 실행됐는데 사실상 계산을 억지로 밀어붙인 셈이었다”고 말했다.

액시엄 매스에 따르면 엑스플로러는 속도와 효율성 측면에서 크게 개선됐다. 샤르통은 “엑스플로러가 패턴부스트가 도출한 투란 문제의 결과를 단 2시간 30분 만에 재현했으며, 이 모든 과정이 단일 머신에서 실행됐다”고 밝혔다.

샤르통과 함께 패턴부스트 개발에 참여했던 조디 윌리엄슨(Geordie Williamson) 시드니대학교 수학자는 아직 엑스플로러를 직접 사용해 보지는 않았지만, 실제로 수학자들이 이 도구를 어떻게 활용할지에 큰 관심을 보이고 있다. 그는 “현재도 샤르통과 학술 프로젝트에서 간헐적으로 협력하고 있지만 그 외에는 액시엄 매스와 별다른 연관은 없다”고 밝혔다.

윌리엄슨은 “액시엄 매스가 패턴부스트를 여러 측면에서 개선해, 이론적으로는 더 다양한 수학 문제에 적용할 수 있도록 했다”고 평가했다. 다만 “이러한 개선이 실제로 얼마나 큰 차이를 만들어낼지는 아직 지켜봐야 한다”고 덧붙였다.

그는 현재 상황에 대해 신중한 시각도 내비쳤다. “지금은 여러 기업이 다양한 도구를 내놓으며 수학자들에게 사용을 권하는 상황”이라며 “가능성이 많다는 점에서 기대도 크지만 동시에 무엇을 선택해야 할지 혼란스러운 상태”라고 말했다. 이어 “이와 같은 도구가 하나 더 추가된다고 해서 어떤 변화가 생길지는 아직 확신하기 어렵다”고 전했다.

홍도 비슷한 인식을 보였다. 그녀는 수학자들을 겨냥한 AI 도구가 빠르게 늘고 있다고 인정하면서 “일부 도구는 연구자가 직접 신경망을 학습시켜야 하기 때문에 부담이 될 수 있다”고 말했다. 그녀는 이어 “엑스플로러는 사용자가 원하는 작업을 단계별로 안내하도록 설계됐다”고 설명했다.

엑스플로러의 코드는 개발자 협업 플랫폼 깃허브(GitHub)를 통해 공개돼 있으며 오픈소스로 제공된다. 홍은 학생과 연구자들이 이 도구를 활용해 문제의 예시 해법이나 반례를 빠르게 생성하고, 이를 통해 수학적 발견의 속도를 높일 수 있기를 기대하고 있다.

윌리엄슨은 “LLM을 자주 사용하는 사람으로서 새로운 도구의 등장은 반가운 일”이라며 “하지만 그렇다고 해서 수학자들이 기존 방식의 연구를 곧바로 내려놓을 필요는 없다”고 강조했다. 그는 “패턴부스트는 훌륭한 아이디어지만 결코 만능 해결책은 아니다”라며 “보다 직관적이고 전통적인 접근도 잊지 않았으면 한다”고 말했다.