KISTI, 스스로 해킹해 약점 찾는 AI 보안체계 개발 착수…국가 연구망 지킨다

사람이 아니라 AI가 직접 시스템의 약점을 찾아내고, 실제 공격이 벌어지기 전에 공격을 예행연습해 검증하며, 사고가 나면 그 경로까지 자동으로 분석하는 자율형 사이버보안 기술 개발이 본격화된다.

한국과학기술정보연구원(KISTI)은 국가 핵심 연구인프라와 디지털 서비스를 사이버공격으로부터 선제적으로 보호하기 위한 ‘AI-화이트해커 기반 해킹제로 시스템 개발’에 착수했다고 3일 밝혔다. 이 사업은 한국전자통신연구원(ETRI), 한국과학기술원(KAIST) 등 12개 산·학·연 기관이 참여해 2026년부터 2030년까지 5년간 진행되며, 총 472억 원이 투입된다. 이 기술이 주목받는 배경에는 사이버공격 자체가 AI로 자동화되며 빠르게 지능화되고 있다는 위협 인식이 있다.

공격자는 이미 알려지지 않은 취약점을 노리고 공격 과정을 자동화하는데, 방어는 여전히 이미 알려진 공격을 탐지하거나 사고가 난 뒤에야 대응하는 수동적 방식에 머물러 있다. 특히 국가 연구기관이 운영하는 슈퍼컴퓨터와 연구데이터, 연구망이 뚫리면 연구 중단을 넘어 국가 연구개발 성과와 핵심 정보 유출로 이어질 수 있다. 방어를 ‘공격을 기다렸다 막는’ 방식에서 ‘AI가 먼저 공격해 보며 약점을 메우는’ 방식으로 바꾸겠다는 것이 이번 사업의 핵심이다. 이식 KISTI 원장은 “AI는 지능화되는 사이버 위협에 선제적으로 대응하기 위한 핵심 기술”이라며 “국가 연구인프라를 안전하게 보호하고 우리나라가 글로벌 AI 사이버보안 기술 경쟁을 선도할 수 있도록 지원하겠다”고 밝혔다.

왜 ‘스스로 해킹하는 AI’가 필요한가

사이버보안의 오랜 딜레마는 ‘공격은 창, 방어는 방패’라는 비대칭에 있다. 공격자는 단 하나의 약점만 찾으면 되지만, 방어자는 모든 약점을 빠짐없이 막아야 한다. 게다가 최근에는 공격자가 AI를 동원해 공격 과정 자체를 자동화하면서, 사람이 일일이 대응하는 방어가 속도에서 밀리는 상황이 됐다.

기존 보안 체계의 한계는 크게 두 가지다. 첫째, 대부분 ‘이미 알려진 공격’을 탐지하는 데 초점이 맞춰져 있어, 처음 등장하는 새로운 공격에는 취약하다. 둘째, 사고가 터진 뒤에야 대응하는 사후 방식이 많아, 피해가 이미 발생한 다음에 움직이게 된다.

취약점을 미리 찾아내는 일도 쉽지 않다. 실제 운영 중인 시스템에서 약점을 시험하려면 서비스를 멈추거나 위험을 감수해야 하기 때문에, 함부로 공격을 시도해 볼 수 없다. 결국 보안 전문가가 수작업으로 취약점과 공격 경로를 하나씩 분석해야 하는데, 이는 시간이 오래 걸리고 새로운 공격 속도를 따라가기 어렵다.

KISTI가 겨냥한 것이 바로 이 지점이다. 방어를 사람의 수작업과 사후 대응에 맡기는 대신, AI가 스스로 공격자 입장이 되어 약점을 먼저 찾고 검증하도록 하는 것이다. 사업 이름 ‘해킹제로’는 실제 해킹 피해를 ‘제로(0)’로 만들겠다는 목표를 담은 것으로, 이를 위해 서로 역할이 다른 세 가지 AI 기술을 하나로 엮는다.

가상 쌍둥이에서 예행연습한다

첫 번째 기술은 ‘AI 사이버트윈’이다. 실제 네트워크와 정보시스템의 구성, 자산, 연결 관계를 자동으로 분석해 가상공간에 똑같이 재현하는 기술이다. 현실의 시스템을 그대로 본뜬 ‘디지털 쌍둥이’를 만드는 것으로, 여기서 각종 사이버공격을 안전하게 시험할 수 있는 실험장(하이브리드 리빙랩)을 구축한다.

이 방식의 핵심은 ‘실제 시스템을 건드리지 않는다’는 데 있다. 운영 중인 슈퍼컴퓨터나 연구망을 직접 공격해 약점을 시험하면 서비스가 멈추거나 데이터가 손상될 위험이 있다. 하지만 현실과 똑같은 가상 복제본을 만들어 두면, 그 안에서 마음껏 공격을 시도해도 실제 시스템에는 아무 영향이 없다. 위험한 실험을 안전한 무대로 옮겨놓는 셈이다.

이 가상 무대에서 활약하는 것이 두 번째 기술 ‘AI 화이트해커’다. 화이트해커는 원래 시스템을 보호할 목적으로 합법적으로 약점을 찾는 보안 전문가를 가리키는 말인데, 그 역할을 AI가 맡는다. AI가 실제 공격자의 관점에서 시스템을 뜯어보며 취약점과 뚫고 들어갈 수 있는 경로를 스스로 탐색한다.

특히 AI 화이트해커는 다양한 공격 시나리오를 반복적으로 검증한다는 점에서 사람과 다르다. 사람은 시간과 체력의 한계로 몇 가지 경로만 시험해 볼 수 있지만, AI는 수많은 공격 방식을 지치지 않고 빠르게 돌려볼 수 있다. 이를 통해 실제 공격이 벌어지기 전에 잠재적인 보안 위험을 미리 찾아내는 것이 목표다. 공격을 기다렸다 막는 것이 아니라, 먼저 공격해 보며 구멍을 메우는 방식이다.

사고 후 추적까지, 하나의 체계로

세 번째 기술 ‘AI 프로파일러’는 앞의 두 기술과 시점이 다르다. 사전 예방이 아니라, 실제로 사이버 사고가 벌어진 이후의 분석과 대응을 담당한다. 프로파일러라는 이름 그대로, 범죄 현장의 단서를 모아 범인의 행적을 재구성하는 수사관에 가까운 역할이다.

작동 방식은 흩어진 증거를 꿰맞추는 데서 시작한다. 사이버 사고가 나면 관련 흔적이 여러 정보시스템에 로그와 디지털 증거의 형태로 흩어져 남는다. AI 프로파일러는 이를 자동으로 수집하고 서로 연결해, 공격자가 어떤 행위를 했고 어떤 경로로 침투했으며 어떤 공격 기법을 썼는지를 신속하게 규명한다. 그리고 그에 맞는 대응 방안까지 제시한다.

세 기술이 연계되면 하나의 흐름이 완성된다. AI 사이버트윈이 안전한 실험 환경을 만들고, AI 화이트해커가 그 안에서 약점을 사전에 찾아 검증하며, 사고가 나면 AI 프로파일러가 원인을 분석해 대응한다. 즉 ‘사전 예방 → 공격 검증 → 사고 분석·대응’으로 이어지는 사이버보안의 전 과정을 하나의 자율형 체계에서 수행하게 되는 것이다.

이는 사람 전문가 중심의 수동 분석과 사후 대응에 의존해 온 기존 방식과의 구조적 차이를 의미한다. 다만 이번 발표는 성과가 아니라 5년짜리 개발의 착수 단계로, 실제 기술 확보와 현장 적용은 앞으로의 과제다. 송중석 KISTI 네트워크미래기술연구본부장은 “취약점 발견부터 공격 검증, 사고 분석과 대응까지 사이버보안 전 과정을 연계하는 연구”라며 “국가 연구현장에 적용할 수 있는 핵심 원천기술을 확보하고, 국내 보안산업과 연구 생태계의 경쟁력 강화로 이어지도록 하겠다”고 말했다.