데이터 메시와 기타 데이터 관리 옵션

May 01, 2023

게티 이미지

데이터에서 더 많은 가치를 추구하는 조직에는 선택할 수 있는 전략이 많이 있습니다. 올바른 데이터 아키텍처를 선택하려면 옵션과 해당 제한 사항을 이해해야 합니다.

조직은 도구를 구매할 때 데이터 요구 사항과 데이터 전략을 간과해서는 안 됩니다. 만약 그렇게 한다면 최적이 아닌 기술을 선택할 수 있고 데이터 거버넌스, 보안 및 개인 정보 보호를 과소평가할 수 있다고 데이터 운영 체제를 제공하는 The Modern Data Company의 CEO인 Srujan Akula는 말했습니다.

Akula는 "전문가들은 의사소통의 우선순위를 정하고, 이해관계자를 참여시키고, 데이터 아키텍처 솔루션을 구현하기 전에 조직의 목표와 요구 사항에 대한 포괄적인 이해를 보장해야 합니다"라고 말했습니다. 또한 직원 교육 및 기술 개발은 기술 채택의 중요한 부분입니다.

데이터 메시는 데이터 아키텍처 진화의 최신 장입니다. 데이터 분석 아키텍처는 데이터 웨어하우스에서 시작하여 데이터 레이크로 발전했습니다. 데이터 메시는 조직이 고려해야 할 세 번째 버전입니다.

오픈 소스 NoSQL 데이터베이스 회사인 Couchbase의 CTO인 Ravi Mayuram은 "데이터 메시는 데이터의 규모와 다양성 요구뿐 아니라 이러한 시스템에서 통찰력을 얻는 속도도 모두 충족합니다."라고 말했습니다.

이 기사에서는 데이터 메시가 무엇인지, 그리고 데이터 웨어하우스, 데이터 레이크, 데이터 패브릭을 비롯한 다른 일반적인 접근 방식과 어떻게 다른지 살펴봅니다. 또한 데이터 메시 접근 방식을 구현하는 조직에 실용적인 조언을 제공합니다.

데이터 메시는 복잡한 조직에서 데이터 및 분석을 확장하는 데 따른 문제를 해결합니다. 데이터 메시는 도메인별로 데이터를 구성하고 주로 사람과 프로세스에 초점을 맞춘 분산형 데이터 아키텍처입니다. Nextdata의 CEO인 Zhamak Dehghani는 기술 컨설팅 회사인 Thoughtworks에 근무하는 동안 이 개념을 개척했습니다.

여기에는 네 가지 핵심 원칙이 있습니다.

이 접근 방식은 데이터 메시를 중앙 집중식 데이터 팀 및 구조와 대조합니다. 데이터 관측 솔루션 공급업체 Monte Carlo Data의 CTO인 Lior Gavish는 이러한 중앙 집중식 팀이 모든 문제를 해결하려고 노력한다고 말했습니다. 데이터 메시는 기업이 데이터 팀을 확장하는 데 도움이 됩니다. "다양한 팀이 서로 독립적이고 효과적으로 데이터를 사용할 수 있도록 하려면 어떻게 해야 할까요?" 개비쉬가 말했다.

데이터 웨어하우스는 모놀리식 경향이 있으며 데이터를 단일 환경에 로드하여 분석 및 의사 결정을 지원하는 데이터 저장소 역할을 합니다. 데이터 메시는 비즈니스 가치를 제공하기 위해 데이터를 이동할 필요가 없는 분산 환경을 지원합니다. 데이터 웨어하우스는 데이터 메시의 일부일 수 있으므로 데이터 웨어하우스와 데이터 메시는 상호 배타적이지 않습니다.

데이터 웨어하우스의 기본 철학은 단일 버전의 정보를 생성하고 이를 IT의 통제 하에 중앙 집중화하는 것입니다. 데이터 웨어하우스는 데이터 플랫폼입니다. 사용자가 데이터 제품을 저장하고 구축하는 곳입니다.

개방형 데이터 레이크 솔루션 제공업체인 Dremio의 개발자 옹호자인 Dipankar Mazumdar는 "데이터 메시는 데이터를 개별 도메인이 소유한 일류 제품으로 취급하는 조직적 사고방식에 더 중점을 둡니다."라고 말했습니다.

데이터 웨어하우스 접근 방식에는 단점이 있습니다.

데이터 파이프라인 자동화 회사인 Ascend.io의 현장 CTO인 Jon Osborn은 "모놀리식 데이터는 복잡한 변경 관리 프로세스를 주도하고 새로운 기술 인력의 역량 강화 시간을 연장시킵니다."라고 말했습니다. "[또한] 셀프 서비스되어야 하는 요청으로 끝없는 엔지니어링 백로그를 제공합니다."

데이터 웨어하우스와 마찬가지로 데이터 레이크는 데이터 저장 및 처리를 중앙 집중화하지만 데이터 레이크는 주로 파일 또는 객체 스토리지에 구조화된 데이터와 구조화되지 않은 데이터를 모두 저장할 수 있습니다. 이 역시 데이터 메시의 일부가 될 수 있습니다.

Mayuram은 "데이터 메시 개념은 운영 데이터 소스와 도메인별 데이터 레이크를 함께 엮는 메시 레이어에 의존합니다."라고 말했습니다.

기본적으로 데이터 레이크나 메시 접근 방식 또는 둘의 조합을 평가할 때 데이터 리더는 분산 데이터를 관리하기 위한 아키텍처가 조직에 적합한지 여부를 이해해야 합니다. 복잡한 아키텍처를 갖춘 대규모 조직은 데이터 사일로 및 접근성 문제로 어려움을 겪을 수 있습니다. 컨설팅, 디지털 및 관리 서비스 회사인 Guidehouse의 파트너이자 데이터 관리 리더인 Bob Audet은 이로 인해 다양한 소스의 데이터를 통합하는 것이 어려워진다고 말했습니다.