핵심 요약
여기어때가 MirrorMaker2 기반의 전사 공통 Kafka 전환을 통해 8개 도메인 클러스터를 하나의 중앙 플랫폼으로 통합하고, 데이터 일관성 및 오프셋 유지를 보장하며 서비스 영향 없이 점진적 전환을 달성한 사례를 공유합니다.
구현 방법
- MM2를 통한 Source→Target 단방향 실시간 동기화로 토픽·메타데이터를 동기화하고 오프셋 매핑 정보를 생성했습니다.
- MirrorSourceConnector, MirrorCheckpointConnector, MirrorHeartbeatConnector를 활용해 오프셋 동기화와 클러스터 상태를 지속 모니터링했습니다.
- Consumer 우선 전환으로 데이터 손실 없이 단계적으로 전환하고, 모든 Topic의 Producer 전환은 Consumer 안정화 후 진행했습니다.
주요 결과
- 8개 도메인 클러스터를 공통 Kafka로 통합하고 아키텍처 표준화 및 운영 효율성을 확보했습니다.
- 수백 개의 신규 토픽 증가에도 안정적으로 처리하고, 비용 절감 및 운영 표준 도입 효과를 얻었습니다.
- 향후 클러스터 확장, 리밸런싱 자동화, 모니터링 체계 개선으로 운영 안정성을 더욱 강화할 계획입니다.
