데이터브릭스 니콜라스 부사장, “AI 전환, 더 이상 선택 아니다”… ‘데이터·AI 통합 아키텍처’로 기업 혁신 촉구 - 인공지능신문

“수백·수천 AI 에이전트 시대 도래… 데이터 분절·거버넌스가 최대 장애물” 니콜라스 에어스(Nicholas Eayrs) 데이터브릭스(Databricks) 아시아태평양 및 일본(APJ) 필드 엔지니어링 부사장이 1일, 그랜드 인터컨티넨탈 서울 파르나스 호텔에서 열린 ‘AI Days Seoul’ 키노트 발표를 통해 "AI 도입의 본질이 단순 기술 적용을 넘어 비즈니스 구조 자체의 변화"에 있다고 강조했다. 그는 생명과학, 금융서비스 등 다양한 산업이 AI를 통해 연구개발 방식과 제품·서비스 구조를 근본적으로 바꾸고 있다며 “이제 기업이 고민해야 할 질문은 ‘AI를 도입할 것인가’가 아니라 ‘얼마나 빠르게 전환할 것인가’”라고 말했다. 이어 그는 “이미 산업은 AI에 의해 재편되고 있으며, 준비가 될 때까지 기다리는 전략은 더 이상 유효하지 않다”고 지적했다. “대부분 기업, 데이터 분절 문제에 막혀 있다” 에어스 부사장은 많은 기업들이 AI 전환에 어려움을 겪는 근본 원인으로 데이터 단절(fragmentation)을 지목했다. 기업들이 오랜 기간 축적해온 시스템, 인수합병, 지역별 운영 구조 등으로 인해 데이터가 서로 다른 플랫폼과 시스템에 분산되어 있으며, 이로 인해 AI 활용이 복잡해지고 있다고 설명했다. 특히 기록 시스템(System of Record), 다양한 애플리케이션, 분석 도구가 각각 독립적으로 운영되면서 데이터 접근과 통제, 거버넌스가 분산되는 문제가 발생하고 있다는 것이다. 이러한 구조는 데이터 활용뿐 아니라 보안, 권한 관리, 규제 대응까지 복잡하게 만들어 AI 도입의 속도를 저해하는 핵심 요인으로 작용한다. 분석 데이터 vs 운영 데이터... “두 세계의 통합이 핵심” 그는 현재 기업 데이터 환경을 크게 분석(Analytical) 데이터와 운영(Operational) 데이터 두 영역으로 구분했다. 분석 데이터는 데이터 웨어하우스와 데이터 레이크를 중심으로 머신러닝과 AI 모델 개발에 활용되어 왔으며, 대규모 데이터 처리를 기반으로 한다. 반면 운영 데이터는 실시간 서비스, 미션 크리티컬 애플리케이션, 그리고 점점 확대되고 있는 AI 에이전트 구동에 활용된다. 에어스 부사장은 “앞으로 AI 시대에서는 이 두 데이터 영역을 분리해서는 안 된다”며 “통합된 데이터 기반이 있어야만 실제 비즈니스 혁신이 가능하다”고 강조했다. “AI 에이전트 수백·수천 시대 온다” 특히, 그는 향후 기업 환경에서 AI 에이전트가 폭발적으로 증가할 것으로 전망했다. “앞으로 기업은 하나의 AI가 아니라 수십, 수백, 나아가 수천 개의 에이전트를 운영하게 될 것”이라며 “이를 위해서는 에이전트가 활용할 수 있는 메모리, 실행 엔진, 운영 데이터 기반이 반드시 필요하다”고 설명했다. 이는 단순한 AI 모델을 넘어, AI 네이티브 애플리케이션과 멀티 에이전트 시스템으로의 전환을 의미한다. 에어스 부사장은 또 다른 핵심 문제로 데이터 의미(semantic)의 불일치를 꼽았다. 그는 “각 시스템마다 매출, 고객, 지표에 대한 정의가 서로 다르다”며 “이 상태에서는 어떤 AI도 신뢰할 수 있는 결과를 만들기 어렵다”고 지적했다. 즉, 동일한 데이터를 기반으로 하더라도 시스템마다 다른 계산 방식과 정의를 사용할 경우, AI 분석 결과 역시 일관성을 잃게 된다는 것이다. 데이터브릭스 해법... “AI를 데이터로 가져온다” 데이터브릭스는 이러한 문제를 해결하기 위해 데이터와 AI의 통합 아키텍처를 제시했다. 에어스 부사장은 “기존에는 데이터를 AI 환경으로 이동시켰다면, 이제는 AI를 데이터가 있는 곳으로 가져와야 한다”고 설명했다. 이를 위해 데이터브릭스는 분석 데이터와 운영 데이터를 하나로 통합하는 구조를 기반으로, AI 애플리케이션 개발과 실행을 지원하는 플랫폼 전략을 추진하고 있다. 또한 그는 개방형 데이터 포맷(open data format)의 중요성을 강조했다. 기존 분석 영역에서는 델타 레이크와 아파치 아이스버그(Delta Lake, Apache Iceberg)와 같은 표준이 활용되어 왔으며, 데이터브릭스는 여기에 더해 운영 데이터까지 포괄하는 새로운 오픈 포맷을 도입해 전체 데이터 환경을 하나로 통합하는 접근을 제시했다. 이를 통해 기업은 데이터 위치와 관계없이 일관된 방식으로 데이터를 관리하고 활용할 수 있게 된다. 에어스 부사장은 데이터 통합만으로는 충분하지 않다고 강조했다. 그는 데이터가 AI 모델, 피처, 애플리케이션, 에이전트로 이어지는 전체 흐름에서 거버넌스, 보안, 추적성, 품질 관리가 함께 제공되어야 한다고 설명했다. 특히 실시간 데이터, 비정형 데이터까지 포함한 환경에서 데이터의 생성부터 활용까지 전 과정을 관리할 수 있어야 AI 시대에 대응할 수 있다는 것이다. “데이터 이동 없이 시작”… 페더레이션 전략 제시 마지막으로 그는 기업들이 AI 전환을 시작하는 현실적인 방법으로 데이터 페더레이션(federation)을 제시했다. 이는 기존 시스템에 있는 데이터를 이동시키지 않고도 통합 접근을 가능하게 하는 방식으로, 기업이 초기 투자 부담 없이 AI 프로젝트를 시작할 수 있도록 한다. 에어스 부사장은 “모든 데이터를 한 번에 옮길 필요는 없다”며 “페더레이션을 통해 점진적으로 통합하면서 AI 전환을 가속할 수 있다”고 강조했다. 한편, 에어스 부사장의 이번 발표는 AI 경쟁의 핵심이 더 이상 모델 자체가 아니라 데이터 구조와 통합 전략에 있음을 다시 한번 강조한 것으로 해석된다. 특히 데이터 분절, 거버넌스, 표준화 문제를 해결하지 못할 경우, AI 투자 역시 실질적인 성과로 이어지기 어렵다는 점에서 기업들의 전략 재정립이 필요하다는 메시지를 던졌다.