핵심 요약
미리디가 디자인허브 정산 시스템을 초기 Spring Batch 기반에서 Airflow + Databricks로 재구성해 가시성, 안정성, 협업 효율성을 크게 개선한 사례를 공유합니다.
구현 방법
- Airflow DAG로 오케스트레이션을 구현하고 DatabricksRunNowOperator로 워크플로우를 실행
- Databricks 노트북 로직을 DAG에 연결해 대규모 데이터 처리 후 결과를 S3에 저장
- Delta Lake 기반 버저닝/Time Travel로 재정산 시 동일한 결과를 보장하고 Git으로 코드 관리
주요 결과
- Airflow UI에서 DAG 실행과 메트릭을 직관적으로 모니터링
- Databricks로 노트북 재현성과 협업 효율성 강화
- 운영 데이터베이스 부하 감소 및 보안 강화
- 코드 기반 협업 및 CI/CD 도입으로 배포 안정성 증가
