글로벌 AI 데이터 클라우드 기업 스노우플레이크(Snowflake)는 현지 시각 3~6일 미국 샌프란시스코에서 열리고 있는 ‘스노우플레이크 서밋 2024’에서 ‘폴라리스 카탈로그(Polaris Catalog)’를 발표했다.
폴라리스 카탈로그는 개방형 데이터 카탈로그 서비스로, 데이터 레이크하우스, 데이터 레이크 및 기타 모던 아키텍처를 구현하는 데 주로 사용되는 오픈소스 데이터 테이블 포맷인 아파치 아이스버그(Apache Iceberg)를 지원한다. 아마존웹서비스(AWS), 컨플루언트(Confluent), 드레미오(Dremio), 구글 클라우드(Google Cloud), 마이크로소프트 애저(Microsoft Azure), 세일즈포스(Salesforce)와 같은 주요 클라우드 서비스 플랫폼과 상호 호환된다.
서비스는 특정 공급자가 제품을 임의로 통제할 수 없는 벤더 중립으로 향후 90일 이내에 오픈소스로 공개될 예정이다. 이를 통해 다양한 기업과 아이스버그 커뮤니티에서 새로운 기능과 유연성, 철저한 기업 보안을 유지하며 데이터를 활용할 수 있을 것으로 전망된다.
스노우플레이크 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 수석부사장은 “조직이 원하는 쿼리 엔진은 특정 공급자에 종속되지 않는 개방형 스토리지와 상호 운용성이다. 어떤 조직이든 뛰어난 유연성과 관리를 바탕으로 데이터에 쉽게 접근하도록 하기 위해 업계 리더들과 협력하고 있다”며 “스노우플레이크는 폴라리스 카탈로그를 통해 아파치 아이스버그가 오픈소스 테이블 포맷의 기준으로 자리매김하길 원한다. 스노우플레이크는 고객과 더 많은 아이스버그 커뮤니티 사용자들이 개방적이고 민주화된 접근 방식으로 데이터를 활용하도록 하고, 업계 선도 업체로서 여러 엔진 간 상호 운용성을 높이기 위해 노력할 것”이라고 말했다.
폴라리스 카탈로그, 새로운 수준의 상호 운용성으로 아파치 아이스버그 지원
아파치 아이스버그는 2020년 5월 인큐베이션 단계를 마치고 아파치 소프트웨어 재단(Apache Software Foundation)의 최상위 프로젝트로 거듭났다. 이후 개발자들의 높은 관심을 받으며 대표적인 오픈소스 데이터 테이블 포맷으로 자리 잡았다.
사용자는 아이스버그의 오픈소스 REST 프로토콜을 기반으로 하는 폴라리스 카탈로그를 통해 중앙화된 서비스에서 보안과 개방된 상호 운용성을 보장 받으며, 아파치 플링크(Apache Flink), 아파치 스파크(Apache Spark), 드레미오, 파이썬(Python), 트리노(Trino) 등 아이스버그 REST API를 지원하는 모든 엔진의 데이터를 액세스하고 검색할 수 있다.
기업들은 스노우플레이크의 AI 데이터 클라우드 내에서 폴라리스 카탈로그를 빠르게 실행할 수 있으며 (퍼블릭 프리뷰 예정), 도커(Docker)나 쿠버네티스(Kubernetes)와 같은 컨테이너를 사용해 자체 인프라에서 직접 호스팅 할 수도 있다. 또한 백엔드 구현을 오픈소스로 제공하는 폴라리스 카탈로그를 통해 보안은 유지하면서 자유롭게 호스팅 인프라를 교체하고 특정 공급자에 종속되는 것을 방지할 수 있다.
폴라리스 카탈로그 커뮤니티를 확장하는 업계 주요 기업
아파치 아이스버그는 커뮤니티 구성원들이 활발하게 도입하고 상업적 서비스로 활용하면서 빠른 속도로 발전하고 있다. 스노우플레이크는 폴라리스 카탈로그가 커뮤니티를 확장하고 점차 높아지는 사용자 기대치를 충족하기 위해 아이스버그 생태계와 협력해 나가고 있다.
스노우플레이크의 적극적인 커뮤니티 지원은 최근 마이크로소프트와 확장한 파트너십과도 연결된다. 양사는 업계를 주도하는 오픈 스토리지 포맷 표준인 아파치 아이스버그와 아파치 파켓(Apache Parquet)을 지원하고, 이에 따라 스노우플레이크와 패브릭(Fabric) 간 상호 운용성 또한 원활해졌다. 이제 양사는 폴라리스 카탈로그를 통해 데이터의 저장 위치에 상관없이 모든 사용자가 엔터프라이즈 데이터를 활용해 AI 기반 애플리케이션을 대규모로 생성하도록 협업해 나갈 예정이다.
마이크로소프트 아룬 울라가라차간(Arun Ulagaratchagan) 애저 데이터 부문 기업부사장(CVP)은 “마이크로소프트에 합류한 첫날부터 전 세계 모든 사용자에게 더 많은 것을 제공하는 데 주력해 왔으며, 이는 강력한 데이터 기반에서 시작된다. 델타 파켓(Delta Parquet), 아파치 아이스버그, 아파치 X테이블(Apache XTable) 등의 오픈 데이터 표준을 지원함으로써, 조직이 새로운 수준의 오픈 데이터 상호 운용성을 바탕으로 더 많은 작업을 수행하도록 돕고 있다”며 “전략적 파트너인 스노우플레이크가 아이스버그 커뮤니티와 함께 오픈 카탈로그 작업을 진행함으로써, 양사의 공동 고객과 더 넓은 오픈소스 커뮤니티에 아이스버그 데이터 관리를 위한 유연성과 효율을 더한 것을 기쁘게 생각한다”고 말했다.
스노우플레이크는 전 세계 수천 개 고객의 크로스 클라우드 데이터 및 AI 워크로드를 지원하는 데이터 기반으로서의 전문성과, 빠르게 성장하는 아이스버그 커뮤니티의 혁신 및 오픈소스 기술을 바탕으로 서로 다른 엔진 간 데이터 상호 운용성을 간소화할 계획이다.
오픈소스 발전을 향한 스노우플레이크의 노력
폴라리스 카탈로그는 아이스버그 테이블(Iceberg Tables)에 대한 투자와 마찬가지로 오픈소스의 발전을 향한 스노우플레이크의 의지이기도 하다. 이를 통해 스노우플레이크 고객은 아파치 아이스버그 포맷으로 각자의 스토리지에서 데이터 작업을 수행할 수 있으며, 스노우플레이크의 사용 편의성, 성능 및 통합 거버넌스의 혜택도 누릴 수 있다.
최근 스노우플레이크는 업계 최고 수준의 개방성을 갖춘 엔터프라이즈급 LLM(대규모언어모델) 스노우플레이크 아크틱(Snowflake Arctic)을 발표했다. 오픈소스 생태계를 지원하기 위해 아크틱은 아파치 2.0 라이선스 기반 오픈소스로 공개됐으며 매뉴얼 개념인 쿡북(Cookbook)을 통해 자세한 내용을 소개하고 있다.
스노우플레이크는 현재 매월 27만 5000명 이상의 현역 개발자와 매월 600만 건 이상의 애플리케이션 조회수를 보유한 스트림릿(Streamlit) 오픈소스 커뮤니티를 지원한다. 스트림릿은 2022년 3월 스노우플레이크에 인수된 후 지난 2년 동안 500% 이상 성장해 왔다. 스노우플레이크와 스트림릿은 개발자를 위한 최첨단 오픈소스 발전에 아낌없는 투자를 이어가고 있다.
폴라리스 카탈로그 출시 소식에 따른 데이터 플랫폼 전문가 논평
아마존웹서비스 크리스 그루즈(Chris Grusz) 기술 파트너십 부서장은 “AWS는 고객의 선택을 넓힐 수 있는 오픈 소스 솔루션을 위해 스노우플레이크와 같은 파트너와 협력하는 데 전념하고 있다”며 “아파치 아이스버그가 양사의 엔진 전반에서 상호 운용성을 유지할 수 있도록 스노우플레이크와 협력을 지속하게 되어 기쁘다”고 말했다.
컨플루언트 숀 클로우스(Shaun Clowes) 최고제품책임자(CPO)는 “컨플루언트는 조직이 데이터 사일로를 해소하고 실시간 인사이트로 비즈니스를 강화하도록 돕는다”며 “컨플루언트 클라우드의 테이블플로우(Tableflow)를 통해 조직은 비즈니스 전반에 산재한 데이터를 한 번의 클릭만으로 아파치 아이스버그 테이블로 전환할 수 있다. 스노우플레이크의 폴라리스 카탈로그와 테이블플로우를 함께 사용하면 데이터팀은 이 테이블에 쉽게 접근해 중요한 애플리케이션 개발과 하위 분석에 활용할 수 있다”고 말했다.
드레미오의 창립자 토머 시란(Tomer Shiran)은 “고객은 활발하고 개방된 생태계와 각자의 스토리지, 데이터 및 메타데이터를 원하며 어느 한 업체에 종속되길 원하지 않는다”며 “아파치 아이스버그와 오픈 카탈로그인 프로젝트 네시(Project Nessie), 폴라리스 카탈로그와 같이 오픈소스의 표준이 되는 서비스를 지원하기 위해 최선을 다하고 있다. 이러한 개방형 기술들로 고객은 생태계 상호 운용성과 선택권을 보장받는다”고 전했다.
골드만삭스(Goldman Sachs) 니마 라파엘(Neema Raphael) 최고데이터책임자 겸 데이터 엔지니어링 부문장은 “골드만삭스는 오픈소스 커뮤니티, 특히 데이터 분야에서 활발하게 활동하고 있다”라며 “그 예로 자사 데이터 플랫폼인 레전드(Legend)를 오픈소스로 공개했으며, 이는 스노우플레이크와 같은 쿼리 엔진에서 더 원활한 상호 운용성을 지원하는 아이스버그 포맷을 사용할 수 있도록 한다. 오픈소스 아이스버그 카탈로그인 폴라리스 카탈로그의 출시를 통해 상호 운용성을 대하는 업계의 진지한 자세를 엿볼 수 있다”라고 말했다.
세일즈포스 라빈드르나단 로가나단(Raveendrnathan Loganathan) 소프트웨어 엔지니어링 수석 부사장은 “아파치 아이스버그의 인기는 조직이 생태계 전반에서 제로 카피 데이터 접근을 간소화하는 오픈 스토리지 표준을 마련했다”며 “세일즈포스 데이터 클라우드는 처음부터 파일용 오픈 표준 아파치 파켓과 테이블용 아파치 아이스버그를 바탕으로 구축되었다. 이를 통해 제로 카피 기술로 갇힌 데이터를 해제하고 인사이트를 도출하며, 협업 플랫폼과 연동되는 커스터머 360(Customer 360) 전반에서 작업할 수 있다. 스노우플레이크가 제로 카피 파트너 네트워크에 합류하게 된 것을 기쁘게 생각하며, 새로운 오픈 카탈로그 표준이 엔터프라이즈에서 제로 카피 접근을 더욱 발전시키기를 기대한다”고 밝혔다.
