핵심 요약
NAVER D2가 Flink와 Apache Paimon을 도입해 실시간 유효 광고를 선별하고 AI Serving의 Feature Store에 반영하는 파이프라인을 구축했습니다.
구현 방법
- Kafka CDC를 Flink로 수집해 Paimon에 실시간으로 적재
- 부분 업데이트, 타임 트래블, 조인/집계로 유효 광고 데이터 생성
- 일별 캠페인 소진량 데이터와 로그를 스트림 조인해 실시간 반영, AI Serving API와의 동기화
주요 결과
- 실시간으로 유효 광고를 선별해 Feature Store에 업로드하고 조회 가능
- exactly-once 보장으로 데이터 신뢰성 확보
- 타임 트래블 및 삭제 벡터 등 고급 기능으로 디버깅·분석 용이
