핵심 요약
데브시스터즈가 Spark Streaming 기반의 준실시간 지표 파이프라인을 구축해 10분 이내 지연과 다차원 조회를 달성했고, 운영 비용도 효율화했습니다. 2024년 6월 쿠키런: 모험의 탑 출시 시기에 대시보드 접근이 크게 늘었습니다.
구현 방법
- Kafka 로그를 Bronze→Silver→Gold Delta Lake 파이프라인으로 구성
- 서버 로그와 클라이언트 로그의 JOIN을 Watermark(1분)와 상태 관리로 처리
- Gold 레벨에서 집계 후 Elasticsearch로 전송, Kibana로 조회 및 자동 갱신 가능
- Airflow로 배치 작업을 2분 간격 마이크로배치 실행
- 단일 Spark 클러스터 공유로 비용 효율화 및 하트비트 로그 활용
주요 결과
- SLA 10분 달성
- 오차 5% 이내 유지
- 런칭 당일 대시보드 접근 약 30%의 구성원 이용, 200만 다운로드, 누적 매출 100억 달성
