핵심 요약
미리디가 Docker Airflow를 Kubernetes(EKS)로 이전해 파드 격리 및 수평 확장을 구현하고 MultiExecutor, Dag Processor 분리, Git-Sync, Remote Logging, 모니터링 스택, ArgoCD 기반 GitOps를 도입했습니다. PR 단위 프리뷰 환경 자동 생성으로 개발/운영 리스크를 줄였고, 프리뷰 환경 생성은 평균 6~7분에 완료됩니다.
구현 방법
- Kubernetes(EKS) 기반 배포와 MultiExecutor(CeleryExecutor/KubernetesExecutor) 구성
- Dag Processor 분리로 스케줄러 부하 감소 및 안정성 확보
- Git-Sync로 DAG 코드 자동 동기화 및 ArgoCD를 통한 GitOps 배포
- Remote Logging으로 로그를 외부 저장소에 중앙화
- PR 단위 프리뷰 환경(브랜치 슬러그 기반 네임스페이스/Ingress 구성) 및 Ingress 설정
- Secrets Backend에 AWS Secrets Manager 적용 및 Fernet Key 관리
주요 결과
- Dag Processor 도입으로 CPU 부하 감소 및 안정성 향상
- 프리뷰 환경 생성 시간 평균 6–7분 확보
- 로그 중앙화로 로컬 디스크 사용량 감소 및 운영 편의 증가
- GitOps 도입으로 배포 이력 관리 및 롤백 용이
