[if kakao 2022] Batch Performance를 고려한 최선의 Reader

핵심 요약

카카오페이가 대량 데이터 배치를 다루는 Reader 관련 노하우를 공유합니다.

주요 경험

• 대량 데이터 Batch 읽기 흐름 설계의 핵심 원칙(파티션/병렬 처리/중복 방지)을 공유
• 오류 처리와 재시도 전략, 백프레셔와 장애 시 롤백 정책의 필요성에 대한 실무 조언
• 모니터링과 리소스 관리의 중요성, 실패 시 자동 재시작과 알람 체계의 기본 아이디어

얻은 인사이트

• 대량 배치 처리에서 데이터 흐름의 분리 및 idempotence의 중요성 재확인
• 운영 측면에서 관찰 가능성과 로그·트레이스를 강화하면 배치 파이프라인의 신뢰성과 가용성이 크게 향상