핵심 요약
토스증권은 Iceberg CDC 도입으로 같은 커밋 내 Update/Delete를 Position Delete로 처리해 데이터 중복 없이 정합성을 확보했습니다.
구현 방법
- Update 전략(COW/MOR)과 Delete 방식(Position Delete, Equality Delete) 적용
- Commit 단위로 Data/File/Delete File 생성 및 Deletion Vector 활용
- Iceberg Sink Connector(Kafka Connect)로 병렬 Writes, Coordinator의 원자적 Commit 보장
- Kafka Key를 id로 고정해 같은 Partition으로 이벤트 순서 보장
주요 결과
- 같은 커밋 내 Row 삭제를 정확히 반영해 중복 감소
- Commit Timeout/Schema Evolution 상황에서도 정합성 유지
- 준실시간 CDC 운영 가능 및 확장성 확보
