글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)가 현지시각 26~29일 미국 라스베이거스에서 열리고 있는 연례 사용자 컨퍼런스 스노우플레이크 서밋 2023에서 고객들이 자체적으로 누적해온 데이터에서 더 쉽고 빠르게 비즈니스 가치를 창출하고 워크로드에 향상된 성능을 활용할 수 있도록 하는 자사 단일 통합 플랫폼의 새로운 기능들을 발표했다.
스노우플레이크는 지난해 9월 인수한 애플리카(Applica)의 생성형 AI 기술로 구축한 대규모 언어 모델(LLM) ‘도큐먼트 AI(Document AI)’를 공개했다. 이를 통해 고객이 문서를 이해하고 비정형 데이터를 쉽고 빠르게 활용할 수 있도록 했다. 또한 스노우플레이크는 ‘아이스버그 테이블(Iceberg Table)’을 통해 개방형 테이블 포맷을 사용, 스노우플레이크 카탈로그에 있는 데이터와 다른 카탈로그 데이터를 통합적으로 관리하고, 기능을 강화해 조직 내 데이터 사일로를 없애도록 했다. 뿐만 아니라 스노우플레이크 성능 지수(SPI)를 도입해 스노우플레이크 플랫폼의 성능에 대한 메트릭스를 제공하며 지속적으로 자사 플랫폼의 가격 대비 성능을 개선하고 있다. 실제 안정적으로 운영하고 있는 고객의 메트릭스를 8개월간 추적한 결과, 고객 워크로드 쿼리 시간을 15% 단축하는 결과를 도출했다.
피델리티 인베스트먼츠 미히르 샤(Mihir Shah) CIO 겸 데이터 아키텍처 및 엔지니어링 담당 엔터프라이즈 책임자는 “모든 CIO는 조직의 데이터를 한 곳에 모아두기를 원하는데 스노우플레이크의 단일 데이터 플랫폼은 이를 실현한다”며 “스노우플레이크 단일 플랫폼을 통해 사일로를 없애고 핵심 이해 관계자가 데이터를 더 쉽게 관리할 수 있도록 접근 권한을 설정해, 궁극적으로 고객이 이 플랫폼을 통해 더 많은 가치를 얻을 수 있도록 한다”고 전했다. 매일 4000만 명의 고객에게 서비스를 제공하는 글로벌 금융 기관 피델리티 인베스트먼츠(Fidelity Investments)도 고객사로 전 세계 6만 8000명 이상의 직원들이 스노우플레이크의 단일 데이터 플랫폼을 사용하고 있다.
스노우플레이크, 데이터 클라우드에 LLM 도입
IDC에 따르면 향후 5년 간 전 세계 데이터의 90% 이상이 문서, 이미지, 비디오, 오디오 등의 형태를 지닌 비정형 데이터다. 과거에는 방대한 양의 비정형 데이터에서 의미 있는 인사이트를 얻으려면 오류가 발생하기 쉬운 수동 프로세스를 이용했지만, 비정형 데이터를 지원하는 스노우플레이크의 빌트인 LLM인 ‘도큐먼트 AI’를 이용하면 자연어 처리를 통해 오류없이 문서에서 쉽게 인사이트를 추출할 수 있다.
‘도큐먼트 AI’는 애플리카 기반의 멀티모달(multimodal) LLM을 활용했다. 조직은 스노우플레이크 플랫폼 내에서 멀티모달 LLM을 통합해 문서에서 필요로 하는 콘텐츠를 쉽게 추출하고 비주얼 인터페이스 및 자연어를 사용해 결과를 정교하게 조정할 수 있다. 고객들은 조직이 비즈니스를 더 스마트하게 운영하고 확장 가능한 방식으로 생산성을 높이기 위해 ‘도큐먼트 AI’를 사용하고 있다. ‘도큐먼트 AI’를 시작으로 스노우플레이크는 더 많은 유형의 비정형 데이터를 지원할 예정이다.
스노우플레이크, 아이스버그 테이블을 통해 더 많은 데이터로 성능 및 거버넌스 확장
아파치 아이스버그는 오픈 테이블 포맷의 산업 표준으로 계속해서 인기를 얻고 있다. 스노우플레이크는 조직이 아이스버그 데이터로 더 쉽게 데이터 클라우드의 가치를 확장하도록 돕는다. 조직은 해당 데이터의 저장 위치에 관계없이, ‘아이스버그 테이블’을 통해 아파치 아이스버그 형식의 자체 스토리지에 있는 데이터를 사용할 수 있다. 동시에 스노우플레이크의 성능 및 통합 거버넌스의 혜택을 누릴 수 있다. 이로 인해 조직은 여러 시스템 사이에서 데이터를 이동하거나 복사하지 않아도 돼 데이터 관리를 단순하게 하며, 유연성이 개선되고 비용을 줄일 수 있다. 더불어 여러 사용자와 다양한 제품으로 구성된 아파치 아이스버그 생태계는 잦은 마이그레이션과 스토리지 공급 업체에 종속되는 것을 방지해 미래 비즈니스 모델에 맞춘 스토리지로 사용할 수 있다. 대표적인 고객사 부킹닷컴은 아이스버그 테이블을 활용해 모든 자체 데이터에 데이터 클라우드를 도입하고 있다.
스노우플레이크, 성능지수 도입, 고객 워크로드에 대한 쿼리 시간 15% 단축기록
스노우플레이크의 최우선 가치는 ‘고객 우선’으로, 정기적으로 기능과 효율성을 개선하며 혁신을 지원하고 있다. 같은 맥락에서 실제 고객 워크로드를 분석해 효율성을 측정하는 새로운 SPI를 도입했다. 실제로 지난 8개월 동안 스노우플레이크에서 해당 메트릭을 통해 안정적으로 운영하는 고객 워크로드를 추적했을 때 쿼리 시간이 15% 단축된 것을 확인했다. SPI는 플랫폼의 양적 성능과 워크로드에 대한 하드웨어 개선 사항을 수치화해 보여줌으로 고객의 비용과 성능을 최적화하고 있다.
또한, 스노우플레이크는 SQL 사용자를 위해 사전 구축된 머신 러닝 함수를 포함한 더 다양한 고급 분석 기능 세트가 지원되도록 단일 플랫폼의 기능을 강화하고, 새로운 데이터 품질 메트릭 및 분류 기능으로 통합 거버넌스 및 개인 정보 보호를 확장하고 있다.
스노우플레이크 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 부사장은 “고객은 스노우플레이크의 단일 플랫폼을 통해 선도적인 성능, 규모 및 거버넌스의 혜택을 누릴 수 있다”며 “단일 플랫폼은 스노우플레이크의 핵심 혁신 전략으로 지속적으로 강화해 나갈 것”이라고 말했다.
이 밖에도 스노우플레이크는 스노우플레이크 서밋 2023에서 데이터 사이언스, 데이터 엔지니어링 및 애플리케이션 개발을 위해 데이터 프로그래밍 기능을 확장하는 새로운 혁신, 데이터 클라우드에서 필요한 규모로 조직이 선도적인 애플리케이션을 배포 및 수익화할 수 있도록 하는 혁신 등을 발표했다.
이외에도 스노우플레이크 성능지수(SPI)에 대한 보다 자세한 정보는 스노우플레이크 서밋 2023에서 확인할 수 있다. 아이스버그 테이블과 더 많은 데이터 유형을 지원하는 스노우플레이크 단일 플랫폼에 대한 자세한 사항은 홈페이지에서 확인할 수 있다.
