핵심 요약
NAVER D2가 Iceberg 기반의 대용량 데이터 저장과 Materialized Views를 활용한 저지연 쿼리 아키텍처를 공개했습니다. 발표는 실시간 거래 리포트를 사용자가 원하는 다양한 조건으로 빠르게 조회하는 방법을 다룹니다.
구현 방법
- Spark, Iceberg, StarRocks를 결합한 데이터 파이프라인 설계
- 메타데이터 관리와 Materialized View로 쿼리 속도 가속
- 다차원 필터링과 Freshness 보장을 위한 일관성 전략
주요 결과
- 실시간 조회 속도 향상 및 확장성 확보
- 대용량 거래 데이터의 최신성 유지 및 운영 팁 공유