핵심 요약
올리브영의 B2B 물류 스쿼드가 MSK Connect 기반 CDC와 비동기 메시지 큐 운영으로 실시간 데이터 흐름과 가용성을 강화하고, Avro 포맷과 AWS Glue Schema Registry로 저장 용량을 대폭 줄였습니다.
구현 방법
- MSK/MSK Connect를 활용한 데이터 흐름 설계 및 CDC 기반 데이터 추출
- Debezium CDC 플러그인 외 다수 플러그인으로 이종 시스템 연동 강화
- Avro 포맷과 AWS Glue Schema Registry를 통한 스키마 관리 및 데이터 압축
- Replication Factor/Partitions 설정 및 Leader-Follower 승격에 따른 내구성 확보
- Serde 오류 DLQ, 수동 Ack(read_committed)으로 데이터 처리 정확성 보장
- SCN 기반 Offsets 저장으로 장애 복구 시점 재처리 보장
- DataDog과 Prometheus Exporter를 이용한 MSK 모니터링
주요 결과
- Json 대비 Avro 압축 약 24배 달성
- DLQ 도입으로 Serde 오류 재처리 및 데이터 손실 방지
- SCN 기반 재처리 및 안정적 CDC 운영으로 장애 시 신속 복구 가능
- DataDog 기반 운영 가시성 강화 및 알림 체계 확립
