글로벌 데이터 클라우드 기업 스노우플레이크(Snowflake)는 현지시각 26~29일 미국 라스베이거스에서 열리고 있는 연례 사용자 컨퍼런스인 ‘스노우플레이크 서밋 2023’에서 데이터 과학자, 데이터 엔지니어, 애플리케이션 개발자를 대상으로 프로그래밍 기능을 확장하는 ‘스노우파크 컨테이너 서비스(Snowpark Container Services)’를 선보였다.
스노우파크 컨테이너 서비스는 사용자의 업무 요건에 맞게 커스터마이징 한 컨테이너 이미지를 생성하고 스노우플레이크에 배포해 사용할 수 있는 스노우파크 런타임 실행 환경이다. 개발자는 엔비디아(NVIDIA) GPU 및 AI 소프트웨어 기반의 가속 컴퓨팅 등 다양한 인프라 옵션을 사용해 안전하게 관리되는 스노우플레이크 플랫폼에서 더 많은 워크로드를 간편하게 실행할 수 있게 된다. 다양한 AI 및 머신러닝(ML) 모델, API, 내부에서 개발한 애플리케이션 등이 모두 워크로드에 포함된다.
스노우플레이크 고객은 스노우파크 컨테이너 서비스를 통해 대규모 언어모델(LLM), Notebooks, ML 모델 운영(MLOps) 도구 등
방대한 타사 소프트웨어와 앱 카탈로그도 이용할 수 있다. 스노우플레이크는 더 많은 조직이 자체 데이터와 ML 모델을 현실에서 사용할 수 있도록 사용자가 ML 모델을 개발, 운영 및 소비하는 방법을 단순화하고 확대하는 등 혁신을 이어가고 있다. 이를 뒷받침하는 기능으로는 더 효율적인 모델 개발을 위한 새로운 스노우파크 ML API 세트, 확장 가능한 MLOps를 위한 스노우파크 모델 레지스트리, 모델을 대화형 앱으로 바꿀 수 있는 스트림릿(Streamlit) 및 고급 스트리밍 기능 등이 포함된다.
스노우플레이크 크리스티안 클레이너만(Christian Kleinerman) 제품 담당 부사장은 “스노우플레이크의 제품 혁신은 고객이 데이터 클라우드를 구축하는 방식을 개선함을 의미하며, 이를 통해 확장된 프로그래밍 기능과 방대한 활용 사례를 갖춘 데이터 및 애플리케이션 개발 종사자는 원하는 방식대로 구축, 테스트, 배포할 수 있게 된다”며 “스노우플레이크는 사용자가 데이터 활용 방식을 개선하고 유연한 환경에서 유의미한 결과를 도출할 수 있도록 스노우파크(Snowpark)를 포함한 자체 머신러닝 및 스트리밍 기능에 지속적으로 투자하고 있다”고 말했다.
빈틈없는 보안, 더 다양해진 프로그래밍 기능으로 개발자를 지원하는 스노우파크
스노우파크는 다양한 런타임과 라이브러리를 사용해 SQL이 아닌 코드도 배포, 처리할 수 있는 스노우플레이크의 서비스이다. 또한, 데이터 클라우드를 활용할 수 있는 인원과 구축 가능한 대상을 확장한다. 이를 통해 개발자는 자신이 원하는 프로그래밍 언어와 도구로 데이터를 더 효율적으로 사용할 수 있고, 동시에 조직은 레거시 데이터 레이크와 빅데이터 환경에는 없는 자동화, 거버넌스 및 보안에 대한 확신을 경험할 수 있다. 2021년 6월 출시한 스노우파크는 데이터 관련 종사자가 파이프라인을 마이그레이션해 빠르게 실행하거나 애플리케이션을 개발하는 데 스노우플레이크를 효율적인 플랫폼으로 활용할 수 있도록 지원해왔다.
스노우파크 컨테이너 서비스는 스노우플레이크 데이터 클라우드와 동일한 사용 편리성과 확장성, 통합 거버넌스를 제공하며 고객의 데이터에 적용할 수 있는 워크로드의 범위를 더욱 확장한다. 사용자는 다양한 프로그래밍 언어로 구축한 코드를 패키지화해 최적화된 엔비디아 가속화 AI 플랫폼을 비롯해 더 다양한 인프라 옵션에서 실행할 수 있는 유연성을 경험할 수 있다. 또한, 스노우파크 컨테이너 서비스는 스노우플레이크 기본 앱의 일부로도 사용할 수 있다. 개발자는 아무리 복잡하더라도 최종 고객의 스노우플레이크 계정에서 구현되는 앱을 배포할 수 있다. 레카(Reka)와 같은 타사의 생성형 모델 공급자를 자신의 스노우플레이크 계정에서 바로 실행하는 것도 가능하다. 혁신 속도를 개선하기 위해 독점 데이터를 노출하지 않아도 돼 보안성도 높아졌다.
스노우플레이크는 다양한 소프트웨어 및 애플리케이션 공급자와 파트너십을 체결함으로써 스노우파크 컨테이너 서비스를 사용해 자사의 엔드 유저가 스노우플레이크 계정 내에서 세계적인 수준의 제품을 실행할 수 있도록 한다. 예를 들어, 고객은 헥스(Hex)의 Notebooks로 분석과 데이터 사이언스를 실행할 수 있고, 알터릭스(Alteryx), 데이터이쿠(Dataiku), SAS 등의 인기 플랫폼 및 ML 기능을 활용해 더 고급 수준의 AI, ML 처리를 경험할 수 있다. 아파치 에어플로우(Apache Airflow)로 구동되는 아스트로노머(Astronomer)의 플랫폼으로 이러한 데이터 워크플로우 관리까지 모두 스노우플레이크 플랫폼에서 작업할 수 있다. 이외에도 Amplitude, CARTO, H2O.ai, Kumo AI, Pinecone, RelationalAI, Weights & Biases 등의 업체들이 스노우파크 컨테이너 서비스를 통해 자체 제품 및 서비스를 제공하고 있다.
스노우플레이크는엔비디아와도 협업하며 스노우파크 컨테이너 서비스의 혁신적인 가속 컴퓨팅과 소프트웨어 통합을 구축하고 있다. 양사는 고급 생성형 AI 기능을 모든 엔터프라이즈에 제공하기 위해 파트너십을 체결한 바 있다.
이번 협업을 통해 엔비디아의 가속 컴퓨팅 지원과 더불어 AI 플랫폼의 주축이라 할 수 있는 엔비디아 AI 엔터프라이즈가 스노우파크 컨테이너 서비스에 제공된다. 이 플랫폼에는 100개 이상의 프레임워크, 사전 학습된 모델 및 개발 도구가 포함된다. 대표적인 개발 도구로는 훈련을 위한 파이토치(PyTorch), 데이터 사이언스를 위한 엔비디아 RAPIDS 및 프로덕션 AI 배포를 위한 엔비디아 트리톤 추론 서버 등이 있다.
엔비디아 마누비르 다스(Manuvir Das) 엔터프라이즈 컴퓨팅 담당 부사장은 “데이터는 어느 산업에서나 각 회사만의 비즈니스 및 브랜드 요구 사항을 반영해 구축한 맞춤 생성형 AI 애플리케이션의 기초”라며 “스노우파크 컨테이너 서비스와 엔비디아 AI 엔터프라이즈의 통합은 엔비디아의 모든 AI 프레임워크, 사전 학습된 모델 및 개발 도구를 전 세계 수천 개의 회사가 사용하는 데이터 플랫폼으로 가져와 오늘날 가장 발전된 수준의 워크로드를 지원한다”고 말했다.
스노우플레이크, 머신러닝 모델의 현실 적용•개발자 경험 개선•스트리밍 기능 확장 지원
스노우플레이크는 ML 모델 운영(MLOps)을 간소화하고 규모는 확장하기 위해 ML 모델을 위한 통합된 관리형 리포지토리인 새로운 스노우파크 모델 레지스트리를 발표했다. 이 레지스트리를 통해 사용자는 모델 게시와 발견을 중앙 집중화할 수 있고, 모델을 프로덕션에 원활하게 배포하기 위해 필요한 데이터 과학자, ML 엔지니어와의 협업은 간소화된다.
스노우플레이크는 또한 플랫폼 내 스트림릿 통합을 가속화하고 있다. 데이터와 비즈니스 활동의 격차를 좁히는 앱을 구축해 데이터 과학자와 파이썬(Python) 개발자의 작업이 서로 상호작용할 수 있도록 지원한다. 스노우플레이크 스트림릿을 통해 개발자는 익숙한 파이썬 코드를 사용해 앱을 구축하고, 안전하고 빠르게 배포할 수 있다.
스노우플레이크는 통합 플랫폼 내에서 새로운 기능을 통해 개발을 더욱 쉽고 익숙하게 만들어 간다. 이러한 기능으로는 원활한 CI/CD 워크플로우를 지원하기 위한 기본 깃(Git) 통합과 스노우플레이크 내 최적화된 개발 및 테스트를 위한 기본 명령 라인 인터페이스(Command Line Interface, CLI) 등이 있다. 스노우플레이크는 스노우파이프 스트리밍 및 다이나믹 테이블을 통해 일괄 및 스트리밍 파이프라인 간 경계도 허물고 있다. 덕분에 여러 솔루션의 기능을 동시에 활용하거나 추가 데이터 파이프라인을 구축할 필요가 없어 데이터로 작업하는 시간과 비용을 효율적으로 관리할 수 있다.
이밖에도 스노우플레이크는 스노우플레이크 서밋 2023에서 새로운 단일 통합 플랫폼에 대한 발전, 데이터 클라우드에서 원하는 규모로 조직이 선도적인 애플리케이션을 배포 및 수익화할 수 있게 하는 혁신 등을 발표했다.
이 외에도 생성형 AI 및 스트림릿 및 스노우플레이크와 엔비디아의 파트너십에 대한 더 자세한 정보를 확인할 수 있으며 파이썬용 스노우파크를 사용해 데이터 엔지니어링 및 ML을 시작하는 방법은 가이드에서 확인할 수 있다. 이 가이드에 따라 스노우플레이크 파이썬 워크시트에서 스노우파크를 체험할 수 있다. 이 외에도 스노우플레이크의 최신 뉴스 및 공지 사항은 링크드인 및 트위터에서도 확인할 수 있다.
