데이터 엔지니어링

Elasticsearch를 활용한 데이터 검색 속도 최적화 – Part 2

지난 글에서 Elasticsearch에 대해 알아보았습니다. 이번 글에서는 BigQuery에 적재하고 있는 여러 마케팅 플랫폼의 성과 데이터를 웹서비스를 통해 실시간으로 제공해야 하는 상황에서, Elasticsearch 도입을 통해 수십 초에 달하던 응답 시간을 800ms로 단축시킨 사례를 공유드리겠습니다. 문제 상황 초기 아키텍처의 문제점 기존 시스템은 다음과 같은 구조로 운영되고 있었습니다. BigQuery (데이터 웨어하우스) -> MySQL […]

데이터 엔지니어링

Elasticsearch를 활용한 데이터 검색 속도 최적화 – Part 1

Elasticsearch Elasticsearch는 Apache Lucene 기반의 오픈소스 검색 및 분석 엔진입니다. 방대한 양의 데이터를 신속하게, 거의 실시간으로 저장, 검색, 분석할 수 있습니다.  기존의 관계형 데이터베이스가 다루기 어려웠던 비정형 데이터 검색, 특히 Full-text 검색에 매우 뛰어난 성능을 보입니다. Elasticsearch는 단순한 검색 엔진을 넘어, 로그 분석, 실시간 데이터 시각화, 비즈니스 인텔리전스 등 다양한 […]