핵심 요약
토스가 Kafka Client와 Kafka Broker 간 연결 현황을 100% 커버리지로 실시간 파악하는 관제 체계를 구축했습니다.
구현 방법
- METADATA API를 주기로 수집하고 최근 10분 로그를 분석
- METADATA API 로그를 100% 커버리지로 확보하기 위한 데이터 수집
- METADATA API 로그, Lag Metric, conntrack를 ClickHouse에서 삼중 조인한 service_graph 구성
- Flink로 라인리지 업데이트 후 MongoDB에 반영하고 Grafana로 시각화
주요 결과
- 실시간 연결 현황 반영 및 예시 제공: trading-api-server-1 → kafka05 topic1, asset-consumer-1 → kafka04 topic2 asset-consumer-group
- Lineage 메타데이터 업데이트 및 MView 기반 실시간 조회 가능
