Building a high-performance data and AI organization

효과적인 데이터 관리가 기업 성장 견인

데이터 및 분석 분야 리더들은 클라우드 데이터와 AI 플랫폼을 통해 어떻게 비즈니스 성과를 낼 수 있는가

이 기사는 데이터브릭스와 협력하여 작성하였습니다.

https://wp.technologyreview.com/wp-content/uploads/2021/04/Databricks_Logo-e1618487190478.png

데이터에서 실행 가능한 통찰력을 실시간으로 얻는 능력은 조직 전략에서 가장 중요하다. 최고경험책임자(CxO)와 이사회는 이 점을 인식하고 있다. 그동안 이 부분에 대해 의문이 있었다. 그러나, 작년 위기의 한 해를 보내며 디지털 전환이 가속화됨에 따라 이러한 의문은 해소되었다. 데이터 중심으로 활동하기 위해 기업은 머신러닝(ML) 기능을 갖춘 분석 도구를 비롯하여 점점 더 업그레이드된 클라우드 기반 기술을 사용하고 있다. 그러나 데이터 양이 풍부하지 않고, 질이 낮으며, 이용하기 쉽지 않다면, 분석 도구가 제공하는 가치는 제한적일 것이다.

https://wp.technologyreview.com/wp-content/uploads/2021/04/Databricks_BuildingDataAIOrganization_1500.png?w=1500

이러한 상황에서 효과적인 데이터 관리는 데이터 중심 조직의 기반이 된다. 그러나 기업의 데이터 관리는 매우 복잡한 측면이 있다. 새로운 데이터 기술이 도입되면, 통합이나 용도 제한이 불가능한 경우 레거시 시스템(Legacy System)과 정보 사일로(Data Silo) 부담이 커진다.

최고데이터책임자(CDO)들은 대부분 아키텍처 단편화(Fragmentation of Architecture)를 골칫거리로 생각한다. 사일로뿐만 아니라 여러 조직에서 사용하는 온프레미스(On-premise) 및 클라우드 기반 도구가 다양하기 때문이다. 데이터 품질 저하와 더불어, 이러한 문제 때문에 조직의 데이터 플랫폼(머신러닝 및 분석 모델)에서 원하는 비즈니스 결과를 얻는데 필요한 속도와 확장성이 떨어진다.

이러한 상황에서 데이터 관리와 데이터 관리가 의존하는 기술이 어떻게 발전하고 있는지를 파악하기 위해, MIT 테크놀로지 리뷰 인사이트는 설문 조사를 실시하였다. 설문 조사는 최고데이터책임자, 최고분석책임자, 최고정보책임자, 최고기술책임자, 기타 기술 관련 임원 351명을 대상으로 하였다. 본지는 또한 기술 관련 임원 몇 명과도 심층 인터뷰를 진행했다. 인터뷰 결과는 다음과 같다.

• 조직 중, 13% 정도만 데이터 전략 제공에 뛰어나다. 이렇게 엄선된 ‘상위권’ 그룹은 전사적으로 측정 가능한 비즈니스 결과를 제공한다. 이들은 건전한 데이터 관리 및 아키텍처 토대에 관심을 기울인 결과 성공을 거두고 있다. 덕분에 데이터 ‘민주화(Democratization)’와 머신러닝에서 가치 도출이 가능하다. 

• 기술 기반 협업을 통해 데이터 문화가 형성되고 있다. 연구를 위해 인터뷰에 참여한 최고데이터책임자는 분석 및 머신러닝 기능 민주화에 중점을 둔다. 첨단 데이터 기술을 통해 이러한 능력을 최대 활용함으로써, 최종 사용자는 더 현명한 비즈니스 결정을 내릴 수 있다. 이것은 바로 강력한 데이터 문화의 특징이다. 

• 전반적인 수명주기 관리 어려움 때문에, 머신러닝이 사업적으로 미치는 영향은 한계가 있다. 대부분의 조직은 머신러닝 이용 확대를 굉장히 복잡하게 생각한다. 응답자의 55%에 따르면, 가장 심각한 문제는 머신러닝 모델을 저장하고 발견하는 중앙 공간이 부족하다는 점이다.

• 기업은 데이터 관리, 분석 및 머신러닝을 지원하는 클라우드 네이티브(Cloud Native) 플랫폼을 추구한다. 향후 2년 간 조직의 최우선 데이터 과제는 세 가지 영역으로 나뉘는데, 이 모든 분야는 클라우드 플랫폼을 광범위하게 도입함으로써 지원된다. 세 가지 과제는 데이터 관리 개선, 데이터 분석 및 머신러닝 확대, 스트리밍 및 비정형 데이터(Unstructured Data)를 포함한 모든 유형의 엔터프라이즈 데이터 사용 확대로 구분된다. 

• 개방형 표준(Open Standards)은 향후 데이터 아키텍처 전략에서 최우선 요건이다. 응답자가 비즈니스를 위해 새로운 데이터 아키텍처를 구축할 수 있다면, 기존 아키텍처보다 가장 중요한 점은 오픈 소스 표준과 오픈 데이터 형식을 더 포괄적으로 수용하는 것이다.

미리보기 3회1회

MIT Technology Review 구독을 시작하시면 모든 기사를 제한 없이 이용할 수 있습니다.