이 기사는 데이터브릭스와 협력하여 작성하였습니다.

데이터에서 실행 가능한 통찰력을 실시간으로 얻는 능력은 조직 전략에서 가장 중요하다. 최고경험책임자(CxO)와 이사회는 이 점을 인식하고 있다. 그동안 이 부분에 대해 의문이 있었다. 그러나, 작년 위기의 한 해를 보내며 디지털 전환이 가속화됨에 따라 이러한 의문은 해소되었다. 데이터 중심으로 활동하기 위해 기업은 머신러닝(ML) 기능을 갖춘 분석 도구를 비롯하여 점점 더 업그레이드된 클라우드 기반 기술을 사용하고 있다. 그러나 데이터 양이 풍부하지 않고, 질이 낮으며, 이용하기 쉽지 않다면, 분석 도구가 제공하는 가치는 제한적일 것이다.

이러한 상황에서 효과적인 데이터 관리는 데이터 중심 조직의 기반이 된다. 그러나 기업의 데이터 관리는 매우 복잡한 측면이 있다. 새로운 데이터 기술이 도입되면, 통합이나 용도 제한이 불가능한 경우 레거시 시스템(Legacy System)과 정보 사일로(Data Silo) 부담이 커진다.

최고데이터책임자(CDO)들은 대부분 아키텍처 단편화(Fragmentation of Architecture)를 골칫거리로 생각한다. 사일로뿐만 아니라 여러 조직에서 사용하는 온프레미스(On-premise) 및 클라우드 기반 도구가 다양하기 때문이다. 데이터 품질 저하와 더불어, 이러한 문제 때문에 조직의 데이터 플랫폼(머신러닝 및 분석 모델)에서 원하는 비즈니스 결과를 얻는데 필요한 속도와 확장성이 떨어진다.