글로벌 기업 88%가 AI를 쓰지만 왜 유의미한 성과는 1/3만 낼까?
맥킨지·딜로이트 최신 데이터로 읽는 2026 AX 스케일링 격차, 그리고 한국 기업이 빠진 함정
지난달 한 대기업 CTO와 점심을 함께했다. 그는 이렇게 말했다.
"우리 회사에 AI 프로젝트가 47개 돌아가고 있어요. 그런데 솔직히, 전사적으로 뭐가 달라졌는지 모르겠습니다."
이 한마디가, 지금 한국 AX 시장의 현주소를 정확히 요약한다.
맥킨지가 2025년 105개국 1,993명을 대상으로 실시한 'The State of AI' 조사 결과를 보면, 전 세계 기업의 88%가 하나 이상의 비즈니스 기능에서 AI를 정기적으로 활용하고 있다. 2024년 78%에서 10%포인트나 뛴 수치다. CIO Korea가 국내 884명의 IT 리더를 대상으로 실시한 2026 IT 전망 조사에서도, 한국 기업의 70%가 생성형 AI에 투자 중이라는 결과가 나왔다.
숫자만 보면 희망적이다. 그런데 여기서 이야기가 끝나면, 우리는 가장 중요한 진실을 놓치게 된다.
"도입"과 "성과" 사이의 거대한 협곡
맥킨지 데이터의 진짜 핵심은 다음 문장에 있다.
"응답자의 60%는 AI 도입이 여전히 실험 또는 시범 운영 단계에 머물러 있으며, AI를 전사적으로 확장하지 않았다."
88%가 쓰고 있지만, 실제로 전사 규모로 확장(scaling)하고 있는 기업은 3분의 1에 불과하다. 그리고 AI를 통해 EBIT 수준의 재무적 성과를 확인한 기업은 39%에 그친다. 나머지 61%는 AI를 '쓰고는 있지만', 기업 전체의 재무 성과에는 아직 의미 있는 영향을 미치지 못하고 있는 셈이다.
포브스코리아가 2026년 AI 7대 트렌드를 분석하면서 인용한 이 데이터가 시사하는 바는 명확하다. 기술 도입(adoption)과 실질적 재무 성과(impact) 사이에는 거대한 협곡이 존재하며, 대다수 기업은 이 협곡의 이쪽 편에 서 있다.
이것이 내가 "스케일링 격차(Scaling Gap)"라고 부르는 현상이다.
한국은 글로벌 평균보다 이 격차가 더 크다
글로벌 수치도 문제지만, 한국의 상황은 더 심각하다.
벤처기업협회 AX브릿지위원회가 국내 기업을 대상으로 실시한 조사에 따르면, 응답 기업의 63.8%가 AX 초기 도입 단계에 머물러 있으며, 이 중 85%가 50인 미만 기업이다. CIO Korea 조사에서도 한국 기업들이 꼽은 가장 큰 과제는 예산 및 투자 한계(43.3%), AI·데이터 인재 부족(40.0%)이었다.
그런데 더 주목해야 할 숫자가 있다. "경영진의 AI에 대한 기대와 현실 간 격차"를 가장 큰 어려움으로 꼽은 응답이 33%에 달했다는 점이다. 경영진은 AI를 통해 극적인 변화를 기대하는데, 현장에서는 PoC 하나 마무리하기도 버겁다. 이 기대-현실 격차가 한국 AX의 가장 독특하고 위험한 병목이다.
왜 한국에서 이 격차가 더 클까? 세 가지 구조적 이유가 있다.
첫째, "빨리빨리" 문화가 PoC 양산으로 귀결된다.
한국 기업은 도입 속도에서는 글로벌 어디에도 뒤지지 않는다. 문제는 성급하게 시작한 PoC 47개가 서로 연결되지 않은 채 각자 돌아간다는 것이다. 맥킨지가 말하는 'AI 사일로'가 한국에서는 빨리빨리 문화와 만나 더 빠르게, 더 많이 만들어진다.
둘째, 위계 중심의 의사결정 구조가 확산을 막는다.
AI 프로젝트는 대개 혁신팀이나 IT 부서에서 시작된다. 하지만 전사 확산을 위해서는 영업, 재무, HR, 운영 등 다른 부서의 협력이 필수적이다. 한국 기업의 위계적 조직 구조에서는 부서 간 횡적 협력보다 상의하달식 지시가 더 자연스럽기 때문에, PoC에서 전사 확산으로 넘어가는 데 구조적인 마찰이 발생한다.
"도입했다"는 사실 자체가 성과로 보고된다.
한국 기업 문화에서는 경영진에게 "AI 프로젝트 47개 진행 중"이라고 보고하는 것이 "AI로 EBIT 2% 개선"이라고 보고하는 것보다 쉽다. 후자를 측정할 프레임워크 자체가 대부분의 기업에 없기 때문이다. 결국 "양적 도입"이 "질적 확산"을 대체해버리는 착시가 발생한다.
글로벌 AI 하이퍼포머들은 무엇이 다른가
맥킨지 조사에서 가장 흥미로운 발견은 "AI 하이퍼포머"에 대한 분석이다. 이들은 다른 기업보다 2배 많은 AI 유스케이스를 배포하고 있으며, 대부분의 비즈니스 기능에서 에이전트를 확장 적용할 가능성이 일반 기업의 3배 이상이다.
이들이 다른 기업과 구별되는 핵심 특성은 기술력이 아니다. 세 가지 조직적 특성이다.
1. 효율성이 아닌 성장과 혁신을 목표로 설정한다.
80%의 기업이 AI의 목표를 '효율화'로 잡지만, 하이퍼포머들은 효율화에 더해 '성장'과 '혁신'을 동시에 추구한다. AI를 비용 절감 도구가 아니라 새로운 가치 창출 엔진으로 본다는 뜻이다.
2. 워크플로우를 재설계한다.
하이퍼포머의 절반이 AI를 통해 비즈니스를 '변환(transform)'하겠다는 목표를 갖고 있으며, 대부분이 기존 워크플로우 자체를 재설계하고 있다. AI를 기존 프로세스 위에 얹는 것이 아니라, 프로세스 자체를 AI 중심으로 다시 그린다.
3. 리더가 직접 AI를 챔피언한다.
하이퍼포머들은 일반 기업보다 3배 높은 비율로 "시니어 리더가 AI 이니셔티브에 대한 주인의식과 헌신을 보여준다"고 응답했다. 리더가 AI 도입을 지시하는 것과, 리더가 직접 AI를 사용하고 그 과정에서 배운 것을 공유하는 것은 전혀 다른 차원의 영향력이다.
2026 에이전틱 AI: 새로운 기회인가, 새로운 혼란인가
글로벌 AX 담론에서 2026년 가장 뜨거운 키워드는 단연 "에이전틱 AI(Agentic AI)"다.
맥킨지 조사에 따르면, 응답자의 23%가 에이전틱 AI 시스템을 전사적으로 확장 중이고, 추가 39%가 실험 단계에 있다. 합치면 62%가 AI 에이전트를 최소한 시도해보고 있는 셈이다. 기술 산업에서는 소프트웨어 엔지니어링(24%)과 IT(22%) 영역에서 에이전트 확장 비율이 가장 높았다.
하지만 맥킨지는 동시에 중요한 경고를 던진다. 대부분의 에이전트 확장은 1~2개 기능에 그치고 있으며, 어떤 단일 비즈니스 기능에서도 에이전트를 확장하고 있다고 답한 응답자는 10%를 넘지 않았다.
한국은 이 에이전틱 AI 트렌드에 매우 적극적이다. SK AX는 에이전트 빌더 플랫폼을 출시했고, LG CNS는 Cohere와 함께 AgenticWorks를 구축했으며, KT는 자체 한국어 AI 모델 '믿:음 K'를 출시했다.
그러나 여기서 한국 기업이 주의해야 할 함정이 있다. 에이전틱 AI를 '새로운 PoC 대상'으로만 접근하면, 스케일링 격차는 더 벌어진다. 포브스코리아의 분석이 정확히 이 점을 짚는다. 2025년에 단일 기능 에이전트를 개별적으로 도입한 기업들 사이에서, 각 에이전트가 서로 단절된 채 작동하는 문제가 이미 발생하고 있다. 핵심은 '어떤 에이전트를 보유하는가'가 아니라 '여러 에이전트가 어떻게 역할을 나누고 협력하도록 설계되어 있는가'다.
한국 AX 리더에게 던지는 세 가지 질문
이 글을 읽는 여러분의 조직이 AI를 도입했다면, 다음 세 가지 질문에 답해보시길 권한다.
질문 1: 우리의 AI 프로젝트는 몇 개이고, 그중 전사 프로세스를 바꾼 것은 몇 개인가?
"47개 프로젝트 진행 중"보다 "3개 프로젝트가 전사 워크플로우를 재설계했고, 연간 EBIT에 X% 기여"가 훨씬 더 가치 있는 답이다.
질문 2: 우리 리더들은 AI를 "지시"하는가, "챔피언"하는가?
리더가 직접 AI를 사용해보지 않으면서 현장에 성과를 요구하는 구조는 격차를 벌릴 뿐이다.
질문 3: 에이전틱 AI에 투자한다면, 기존 AI 사일로를 연결하는 방향인가, 새로운 사일로를 추가하는 방향인가?
멀티에이전트 협업 체계를 설계하지 않고 개별 에이전트만 늘리는 것은, PoC 47개를 48개로 만드는 것과 다르지 않다.
스케일링 격차를 넘는 기업이 2026년의 승자가 된다
딜로이트는 2026년을 "열광적인 분위기가 다소 누그러지고, 실질적 성과는 커지는 전환점"이라고 진단했다. AI 도입의 초점이 "무엇을 만들 수 있는가"에서 "어떻게 실제 비즈니스에 적용하고 운영할 것인가"로 이동하고 있다는 분석이다.
NIA(한국지능정보사회진흥원) 역시 2026년을 AI가 실험 단계를 넘어 산업 핵심 인프라로 자리매김하는 역사적 전환점으로 내다봤다.
전환점이라는 말은, 지금 서 있는 위치에 따라 미래가 갈린다는 뜻이다. 스케일링 격차의 이쪽에서 '도입'만 반복하는 기업과, 저쪽에서 '확산과 운영'을 설계하는 기업 사이의 거리는 2026년 하반기가 되면 되돌리기 어려울 만큼 벌어져 있을 것이다.
"89%의 조직이 여전히 산업 시대에 살고 있고, 9%만이 디지털 시대의 애자일 모델을 갖추고 있으며, 분산 네트워크로 운영되는 조직은 1%에 불과하다." — McKinsey, The Agentic Organization
질문은 단순하다. 여러분의 조직은 어느 쪽에 있는가? 그리고 어느 쪽으로 가고 있는가?
— McKinsey, "The State of AI in 2025: Agents, Innovation, and Transformation" (Nov 2025)
— McKinsey, "The Agentic Organization: Contours of the Next Paradigm for the AI Era"
— CIO Korea, "2026 IT 전망 조사 결과" (Jan 2026)
— 포브스코리아, "2026 AI 트렌드 TOP 7" (Jan 2026)
— Deloitte, "2026 TMT 전망 보고서" (Dec 2025)
— 벤처기업협회 AX브릿지위원회, "AX 성공방정식 2026" 조사 결과
— NIA, "2026년 AI 전망: 실험에서 핵심 인프라로의 대전환"