핵심 요약
네이버 플레이스가 Airflow를 Docker Compose로 컨테이너화하여 로컬에서도 프로덕션과 유사한 실행 환경을 구성하고, 개발-운영 차이를 줄이는 방법을 공유했습니다.
구현 방법
- 멀티 컨테이너 Airflow 구성과 의존성 관리(Redis, PostgreSQL, airflow-init 포함)
- 개발은 LocalExecutor/SequentialExecutor, 배포는 CeleryExecutor로 분리한 전략 채택
- 상황에 맞춰 Local/Celery용 yaml 분리 및 공통 요소를 공유하는 구조 도입
- Pycharm에서 Docker Compose 기반 개발 및 디버깅 설정 적용
- Makefile로 자주 쓰는 명령 관리 및 Helm value로 설정 관리
주요 결과
- 단일 docker compose up으로 로컬에서 Celery Executor 모드 실행 가능
- Pycharm에서 DAG 테스트 및 디버깅이 가능해져 개발 속도 향상
- Helm values로 운영 구성을 통합 관리 비용 절감
