오픈AI의 챗GPT 출시 이후 생성형 AI는 불과 몇 년 만에 전 세계 기업의 업무 풍경을 바꿔놓았다. 개발자 도구에서 시작된 AI는 이제 문서 작성, 분석, 고객 대응, 의사결정 보조까지 침투하며 조직 전반의 기본 도구로 자리 잡고 있다. 문제는 속도다. AI는 이미 대부분의 기업 안에 들어와 있지만, 그 활용은 여전히 개인 생산성 개선에 머무르는 경우가 많다. AI를 ‘쓰는 기업’은 늘었지만, AI가 실제로 ‘일하는 기업’은 아직 소수다.

이 간극은 아이러니하게도, AI가 만들어낼 잠재적 가치에 대한 전망이 커질수록 더 또렷해진다. 글로벌 컨설팅 기업 맥킨지(McKinsey)는 2024년 보고서에서 생성형 AI가 전 세계 경제에 연간 최대 4조4000억 달러의 가치를 더할 수 있다고 전망했다. 경제협력개발기구(OECD)의 마티아스 코먼(Mathias Cormann) 사무총장 역시 2025년 APEC CEO 서밋에서 “AI는 향후 10년간 연간 노동 생산성 성장률에 0.2~0.4%포인트를 기여할 수 있다”고 밝혔다. AI 전환이 기업 경쟁력에 중대한 영향을 미치는 단계에 접어들었다는 의미다. 그러나 현실에서는 수많은 기업이 AI 프로젝트를 추진하다가 중간 단계에서 멈추고 있으며, 어디서부터 어떻게 시작해야 할지 혼란을 겪고 있다.

이런 상황에서 KT와 한국마이크로소프트는 5년간의 전략적 파트너십을 통해 한국 시장에 맞는 AX(AI Transformation, AI 전환) 실행 모델을 구축하고 있다. AX는 AI 도입 단계를 지나 AI가 작동하도록 조직과 업무 구조를 다시 설계하는 전환을 의미한다. 지난 1년간 두 회사는 한국 기업 환경에 적합한 AI 적용 방식과 인프라, 그리고 조직 전환 전략을 함께 실험해 왔다. 2025년 11월 서울에서 열린 ‘AI 서미트 서울 엑스포 2025’에서 KT 정우진 전략·사업 컨설팅 부문장과 한국마이크로소프트 조원우 대표는 AI 기술의 현재 위치와 기업 AX의 현실적인 과제, 한국이 글로벌 AI 경쟁에서 차지할 위치 등 한국 기업들이 나아가야 할 방향에 대해 이야기했다.

“AI는 이미 와 있다”, 어시스턴트에서 팀 플레이어로

Q. AI 기술은 지금 어디까지 왔다고 보십니까. 현재 기업들은 AI를 어느 정도 활용하고 있습니까.

정우진 부문장(이하, 정우진) AI가 현재 어느 위치에 있고 어느 단계에 있다고 규정하기는 어렵습니다. 인터넷이 처음 보급됐을 때나 스마트폰이 막 등장했을 때를 돌아보면, 어느 순간 업무와 일상에 자연스럽게 스며들어 있었습니다. AI 역시 마찬가지입니다. 이미 일상뿐 아니라 기업 업무 곳곳에 깊이 침투해 있죠. 특히 기업 관점에서 AI를 적극적으로 활용하지 않을 경우, 경쟁력 유지가 어려워질 수 있다는 위기감이 커지고 있습니다. AI는 이미 도입됐고 그 침투 속도는 앞으로도 더욱 빨라질 것으로 보입니다.

조원우 대표(이하, 조원우) 구체적인 지표를 보면 변화 속도는 더욱 분명합니다. 챗GPT는 출시 이후 빠른 속도로 사용자가 늘었고, 현재는 약 10억 명에 육박하는 사용자 기반을 확보한 것으로 알려져 있습니다. 기업에서 사용하는 개발자용 AI 에이전트인 깃허브 코파일럿의 액티브 유저는 약 2000만 명이며, 마이크로소프트 365 환경에서 매달 코파일럿 기능을 활용하는 사용자도 약 1억5000만 명에 이릅니다. 이제 업무를 수행하는 사람 중 AI 에이전트를 전혀 사용하지 않는 경우를 찾기 어려운 상황이라고 볼 수 있습니다.

기업의 AI 도입은 세 단계로 나뉩니다. 첫 번째는 AI를 개인 어시스턴트로 활용하는 단계입니다. 질문을 던지고, 자료 조사나 초안 작성을 요청하는 수준입니다. 두 번째는 특정 기능이나 업무를 AI에게 맡기는 팀 멤버 단계입니다. 세 번째는 사람이 방향성과 책임을 맡고, AI가 업무 전반을 운영하는 단계입니다. 현재 많은 기업은 1단계를 넘어 2단계 초입으로 이동하고 있으며, 일부 산업·업무 특화 기업은 이미 그 중간 단계에 진입해 있습니다. 1년 전과 비교하면 성숙도의 깊이가 확연히 달라졌습니다.

AX의 다음 단계, 에이전트와 조직 설계

Q. 앞으로 AI는 어떤 방향으로 발전할 것으로 보십니까. KT와 한국마이크로소프트는 각각 AX를 어떻게 추진하고 있는지 궁금합니다.

조원우 범용 대규모 언어 모델의 성능은 이제 단순 비교가 어려울 정도로 빠르게 향상되고 있으며, 오류를 줄이는 방향으로 진화하고 있습니다. 이에 AI 활용은 산업 전반으로 확대되고 있고, 특정 업무와 산업의 전문성을 반영한 AI가 경쟁력을 갖는 단계에 접어들었습니다. 한국이 AI 분야에서 잠재력을 갖는 이유 중 하나도 이러한 산업 특화형 AI 역량에 있다고 봅니다. 앞으로는 보안과 AI 거버넌스가 더욱 중요해질 것입니다. 다양한 AI가 동시에 활용되는 환경에서 이를 어떻게 통합적으로 운영할 것인지가 핵심 과제입니다.

정우진 KT는 지난해 ‘AI ICT’ 비전을 선포하며 AI 기반 ICT(Information and Communication Technology, 정보통신기술) 기업으로의 전환을 공식화했습니다. 내부적으로는 개인 업무 전반에 AI가 접목되고, 경영진과 의사결정권자들이 AI를 활용해 자료와 정보를 분석하는 내부 AX 혁신이 가속화되고 있습니다. B2C 영역에서는 고객 서비스와 통신 서비스에 AI가 적용되고 있으며, B2B 영역에서는 각 산업의 AX, 즉 산업 AI 전환을 지원하는 역할을 수행하고 있습니다.

특히 멀티 에이전트 구조에 주목하고 있습니다. 개인 단위, 조직 단위, 전사 단위 에이전트가 유기적으로 오케스트레이션되고 자율적으로 작동하는 환경으로 진화하고 있습니다. 유기적으로 오케스트레이션된다는 것은 여러 AI 에이전트가 각자 따로 움직이는 것이 아니라, 역할을 나눠 순서와 흐름에 맞게 함께 일하도록 조율된 상태를 의미합니다. 오케스트라에서 지휘자가 각 악기가 언제, 어떻게 연주할지 조율하는 것과 같습니다. KT는 내부 혁신을 넘어, 외부 산업 전반의 AX를 함께 주도하는 방향으로 변화하고 있습니다.

한국형 AI 생태계 구축, 인프라 경쟁과 전략적 협력

엔터프라이즈 AX가 실제로 작동하는 단계에서는 AI 모델의 성능만으로는 충분하지 않다. 생성형 AI와 에이전트 AI가 기업 업무 전반으로 확산되면서, 관건은 모델의 똑똑함이 아니라 이를 안정적으로 뒷받침할 인프라와 운영 구조를 갖추고 있는지로 옮겨가고 있다. 특히 서비스 단계에서는 AI를 학습시키는 과정보다, 사용자가 요청할 때마다 즉각적으로 결과를 내놓는 추론(inference) 작업이 훨씬 더 많은 자원과 트래픽을 요구한다. 이에 따라 데이터센터, 네트워크, 전력, 냉각 시스템 등 AI를 지속적으로 운영하기 위한 기반 인프라는 AX의 전제 조건으로 떠오르고 있다.

이 같은 변화 속에서 주목받는 개념이 ‘AI 특화 클라우드 공급자(네오 클라우드(Neo Cloud))’다. 이는 기존의 퍼블릭 클라우드나 기업 내부 서버 중심 구조를 넘어, AI 사용량에 따라 필요한 만큼의 자원을 유연하게 공급하는 AI 중심 인프라 구조를 의미한다. 모든 기업이 초거대 AI 모델을 직접 개발할 필요는 없지만, AI를 실제 업무에 적용하려면 대규모 요청을 동시에 처리할 수 있는 기반이 필수적이다. 이 지점에서 KT와 한국마이크로소프트가 각각 맡은 역할이 분명해진다. KT는 통신망과 데이터센터를 운영하며 AI가 작동할 물리적 기반을 제공하는 기업이고, 한국마이크로소프트는 초거대 AI 모델과 글로벌 클라우드 기술을 통해 그 위에서 AI 서비스를 확장하는 역할을 한다. 엔터프라이즈 AX가 실험 단계를 넘어 실제 운영으로 이어지기 위해서는 로컬 인프라와 글로벌 AI 플랫폼을 실무에 맞게 어떤 구조로 만들 것인가가 핵심이다.

Q. KT와 한국마이크로소프트는 초거대 AI 인프라와 네오 클라우드에 대한 준비는 어떻게 하고 계십니까.

정우진 국가적으로 ‘AI 고속도로’를 구축해야 할 중요한 시점이라고 보고 있습니다. 과거 인터넷 시대에 네트워크망을 조기에 구축했던 것처럼, AI 인프라 확보 역시 매우 중요해졌습니다.

최근 GPU 인프라에서 가장 큰 변화는 대규모 언어 모델(LLM) 학습을 위한 모델 학습 인프라에서, 실제 활용을 위한 추론 인프라로 급격히 전환되고 있다는 점입니다. 세상의 모든 사물이 AI나 에이전트와 연결됐을 때, 그 뒷단에서 처리해야 하는 추론 컴퓨팅 수요는 상상하기 어려울 정도로 커질 수밖에 없습니다. 이러한 수요에 대응하기 위해서는 단일 기업이 GPU 인프라를 확보하고 공급하는 방식만으로는 해결이 어렵습니다.

그래서 KT는 마이크로소프트를 비롯한 글로벌 네오 클라우드 선도 기업들과 협력하고 있습니다. 가장 중요한 것은 시간과 속도라고 생각합니다. GPU 인프라가 적재적소에, 수요 중심으로 안정적으로 공급될 수 있도록 파트너십을 통해 시너지를 만들어가고 있습니다.

조원우 약 2년 반 전 AI가 시장에 파괴적인 방식으로 등장했을 때, 마이크로소프트는 창사 50년 역사상 처음으로 소프트웨어 중심 회사에서 인프라스트럭처를 성장 전략의 중심에 두는, 캐펙스(CAPEX, 자본지출) 중심 회사로 큰 변화를 맞이했습니다. 전체 임원진에게 경종을 울리는 변화였습니다.

그 이후 마이크로소프트는 연간 800억~1000억 달러라는 상상하기 어려운 규모로 데이터센터에 투자해 왔습니다. 2년 반이 지난 지금 가장 중요한 논의는 “어떻게 더 빠르게 커패시티를 늘릴 것인가”, “AI 수요를 인프라가 실제로 따라갈 수 있는가”입니다.

한국 시장에서 중요한 점은, 글로벌 시장이 필요로 하는 인프라를 한국이 제공할 수 있는 기회가 존재한다는 것입니다. 우리가 지금 논의하고 있는 것은 5년 후가 아니라, 6개월 후, 24개월 후에 필요한 인프라 처리 능력 즉 캐패시티를 얼마나 빠르게 준비해 전 세계에 서비스할 수 있는가입니다. KT와 같은 인프라 기업들과 긴밀히 협력하고 있으며, 조만간 좋은 소식을 전할 수 있을 것으로 기대하고 있습니다.

Q. KT와 마이크로소프트의 지난 1년간 협력은 어땠습니까. 어떤 성과가 있었습니까.

조원우 1년 전 협력을 시작할 당시 세 가지 목표를 설정했습니다. 첫째, 한국에 최적화된 AI 솔루션을 공동으로 개발하자는 것이었습니다. 둘째, AI 기업 성공 모델을 정의하고 그 역량을 조직 내부에 내재화하자는 목표였습니다. 셋째, 그렇게 축적한 역량을 한국의 대기업과 스타트업, 그리고 다양한 산업 생태계에 기여하는 것입니다.

가장 대표적인 성과는 전 세계에서 유일하게 GPT-4.0 모델을 한국의 언어, 문화, 업무 방식에 맞춰 약 8개월간 집중적으로 튜닝한 이른바 ‘코리아나이즈드(Korean-localized) 버전’을 개발한 경험입니다. 그런데 우리가 이를 런칭하려는 시점에 GPT-5.0이 출시됐습니다. 개인적으로는 정말 큰 배움이었습니다.

처음에는 GPT-4.0의 한국화를 6개월에 끝내고, 이후 3개월, 1개월로 점점 단축해 나가겠다는 계획을 세웠습니다. 그러나 기술 혁신의 속도가 빨라 우리의 전략을 수정했습니다. 이제는 LLM 자체의 발전 속도를 쫓기보다 실제 사업성을 갖는 산업별 유스케이스를 찾고, 그에 특화된 업무·산업 특화 모델을 개발하는 데 양사의 역량을 집중해야 한다는 결론에 이르렀습니다.

두 번째 성과는 내재화 역량 측면입니다. 마이크로소프트가 전 세계적으로 운영하고 있는 ‘이노베이션 허브(Innovation Hub)’ 방법론을 KT와 공유한 것입니다. 이노베이션 허브 방법론은 기업이 AI·클라우드 전환을 실제 실행 단계까지 끌고 가도록 설계된 실천 중심 프레임워크입니다. 기업들이 AI 전환을 어디서부터 시작해야 할지 고민할 때, 이 방법론을 활용해 매주 수십 개 고객사와 대화를 나누고 있습니다. KT 역시 자체 이노베이션 허브를 구성해 유사한 고객 요구 사항에 대응하고 있습니다.

정우진 협력을 진행하면서 빠른 기술 혁신 속도에 맞춰야겠다는 생각과 함께 ‘다음은 어떻게 해야 할까’라는 압박감이 동시에 들었던 순간이 많았습니다.

협력의 성과를 간단히 정리하면 세 가지입니다.

첫째, 20명 규모로 시작했던 AX 조직이 마이크로소프트와의 협력을 통해 현재 약 150명 수준으로 확대됐습니다. 기업과 산업에 AX를 적용하는 이노베이션 허브, 파일럿 프로젝트, PoC, MVP 등을 활발히 진행하고 있습니다. 마이크로소프트 역시 한국에 상주하는 엔지니어가 20~30명 수준이며, 글로벌로 연계되는 인력까지 포함하면 약 100여 명이 대응하는 구조로 빠르게 확대됐습니다.

둘째, 최고 경영진 차원의 지속적인 교류입니다. 지난 3월 사티아 나델라 마이크로소프트 회장이 방한했고, 이후에도 최고경영진 간 협업이 계속 이어지고 있습니다.

셋째는 교육입니다. 구성원 모두가 AI를 차별 없이 활용할 수 있도록 양사가 교육에 매우 큰 투자를 하고 있다는 점이 인상적이었습니다.

성공적인 AX를 위한 조건 – 실패를 넘어서는 법

Q. 기업들이 AX를 제대로 시작하려면 무엇부터 어떻게 접근해야 한다고 보십니까.

조원우 네 가지를 말씀드리고 싶습니다.

첫째, 가장 가까운 곳에서 시작해야 합니다. 개발자, 일반 사무 담당자, 마케팅, 인사, CSO 등 각자의 업무에 맞는 AI 툴과 서비스가 이미 많이 나와 있습니다. 가장 가까운 업무부터 AI를 적용할 수 있도록 독려하는 것이 중요합니다.

둘째, 지속적인 학습의 중요성을 강조하고 싶습니다. 일반 사무직이라고 해서 AI를 활용하지 못하는 것이 아닙니다. 매우 빠르게 익혀 활용할 수 있는 다양한 툴과 편의적인 서비스가 이미 제공되고 있습니다.

셋째, 사업 부문(CEO, CBO), 기술 부문(CIO, CTO, CDO), 그리고 보안 부문(CISO) 리더와 조직, 이 세 축이 함께 움직이는 AI 전략이 매우 중요합니다.

마지막으로, AX는 혼자 추진하기가 정말 어렵습니다. 주변에서 어떻게 하고 있는지, 어떤 기술적 도구가 있는지, 다른 기업들은 어떻게 접근하고 있는지를 공유할 수 있는 파트너들을 적극적으로 활용해야 합니다. 저희 이노베이션 허브나 글로벌 행사 ‘이그나이트(Ignite)’와 같은 자리에서도 많은 정보를 얻을 수 있습니다.

정우진 현재 AI 프로젝트의 90% 이상이 실패하고 있다는 이야기가 나옵니다. 디지털 트랜스포메이션 시기에도 비슷한 상황이 있었습니다. 당시에는 데이터 중심이었다면, 이제 AI와 AGI로 넘어가는 과정에서는 관점을 바꿔야 합니다.

기존에는 시스템 혁신과 데이터 중심이었다면, 이제는 사람에 대한 관점으로 전환해야 합니다. 결국 현장과 현업에 답이 있습니다. 개인의 업무 방식, 개인이 일하는 방식부터 AI로 혁신해야 합니다. 탑다운 방식으로는 프로젝트가 제대로 작동하기 어렵습니다. 회사가 실제로 변화하려면 결국 그 사람이 바뀌어야 하고 관점을 바꿔야 합니다.

실패와 수많은 시행착오는 불가피합니다. 다만 그것들을 지속적으로 끌고 갈 수 있는 거버넌스, 즉 조직과 역량을 함께 가져가는 것이 중요합니다. 디지털 전환 과정에서 이미 시행착오를 겪었기 때문에, AI 전환에서도 같은 과정을 겪을 수밖에 없습니다. 다만 이번에는 더 빠르게, 더 체계적으로 접근해야 한다고 생각합니다.

AI를 ‘붙이는’ 단계를 넘어

위의 두 리더가 강조한 “도입과 전환의 간극”은 2026년 1월 현재 KT와 한국마이크로소프트의 실행 과제에서도 그대로 확인된다. 2024년 9월 발표한 5개년 전략적 파트너십은 이제 구체적인 성과로 나타나고 있다.

KT는 2025년 11월 마이크로소프트의 소버린티 클라우드를 기반으로 ‘시큐어 퍼블릭 클라우드’를 출시했다. 데이터 주권과 규제 준수 요구가 높은 공공·금융권의 AI 도입 병목을 “클라우드를 쓰느냐, 안 쓰느냐”가 아니라 “어떤 통제 구조로 쓰느냐”의 문제로 재정의한 것이다. 10월에는 광화문에 ‘KT 이노베이션 허브’를 개소해 PoC 이후 운영 확산이 멈추는 구간을 메우고 있다. 이곳에서는 설계된 솔루션을 최대 5일 안에 시제품으로 제작해 실효성을 검증할 수 있다.

정우진 부문장이 언급한 “GPU 인프라가 학습에서 추론으로 전환되고 있다”는 말은 현실이 됐다. KT는 2025년 10월 기준 AX B2B 사업에서 1000억 원대 매출을 확보했고, 2029년까지 4조 6000억 원의 누적 매출을 목표로 한다. KT클라우드는 지난해 11월 가산에 국내 최초로 리퀴드 쿨링을 상용화한 AI 데이터센터를 가동했으며, 올해 4월에는 액침 냉각 서비스를 상업화할 예정이다.

AI 모델 측면에서도 자체 개발 ‘믿:음 K 2.0’, 마이크로소프트 협력 ‘SOTA K’, 오픈소스 기반 ‘라마 K’를 연이어 출시하며 3트랙으로 구성한 전략을 가동했다. 올해는 GPT-4o 기반 모델부터 금융·법률 특화, 에이전트 특화 모델까지 순차 출시할 계획이다. 조원우 대표가 말한 “산업 전문성을 활용한 AI가 빛을 보는 시대”가 현실화되고 있다.

현재 KT·한국마이크로소프트 AX 현황을 한 문장으로 요약하면, ‘AI를 ‘붙이는’ 단계는 지났고 규제·보안·책임을 포함한 구조를 통해 AI가 실제로 일하게 만드는 단계로 이동하고 있다’이다. 정우진 부문장의 “관점을 바꿔야 한다”는 말과 조원우 대표의 “혼자 하기 너무 어렵다”는 조언은 이제 시큐어 퍼블릭 클라우드, 이노베이션 허브, 산업 특화 모델이라는 실체로 구현되고 있다.