데이터 분야에 계신 분들이라면 Hadoop, Spark 같은 단어는 한 번쯤 들어보셨을 겁니다. 대용량 데이터를 처리하는 핵심 기술들이죠. 그런데 최근 들어 “데이터브릭스(Databricks)”라는 이름이 점점 더 많이 들려옵니다. “그거 그냥 클라우드에서 Spark 쓰게 해주는 서비스 아니야?” 라고 생각하셨다면, 오늘 이 글을 통해 그 생각이 완전히 바뀌실 거라 확신합니다. 오늘은 데이터 엔지니어의 시각에서, […]
들어가며 BigQuery는 GCP(Google Cloud Platform)에서 제공하는 완전 관리형 엔터프라이즈 데이터 웨어하우스로, 대규모 데이터 분석을 수행할 수 있도록 설계되어있습니다. BigQuery는 데이터 처리량에 따라 과금이 부과되는 주문형 컴퓨팅 가격 요금제와일정한 예산 설정이 가능한 용량 컴퓨팅 가격 요금제를 제공하고 있습니다. 특히 사용량 기반 요금제의 경우, 관리와 최적화를 소홀히 할 경우 불필요한 비용이 발생할 […]
들어가며 데이터 엔지니어링의 세계는 빠르게 변화하고 있으며, 다양한 데이터 소스와 방대한 데이터 양을 효율적으로 관리하고 분석할 수 있는 도구의 필요성이 날로 커지고 있습니다. 이러한 요구를 충족시키기 위해 등장한 솔루션 중 하나가 Snowflake입니다. 본 글에서는 Snowflake의 주요 기능과 데이터 엔지니어가 이를 어떻게 활용할 수 있는지, 그리고 비용 구조에 대해 자세히 살펴보겠습니다. […]