Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
상품데이터 Pipeline을 위한 Debezium MSK Connect 섬네일

상품데이터 Pipeline을 위한 Debezium MSK Connect

올리브영 favicon올리브영·Data·
MySQLApache KafkaDebeziumOracleAWS MSK Connect
2024년 03월 11일6

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

올리브영은 Debezium MSK Connect로 Oracle/MySQL/MongoDB/Cassandra 등 다중 DB의 변경 데이터를 실시간으로 CDC 전송하는 파이프라인을 구성하고, MSK 플러그인 생성 및 컨넥터 설정 방법을 제시합니다.

주요 특징

  • Debezium CDC로 트랜잭션 로그를 실시간 캡처
  • MSK Connect에서 플러그인 생성, 워커 구성, 스키마 히스토리 관리
  • 버전별 차이가 있어 Oracle/MySQL 컨넥터 구성은 공식 문서 확인 필요

적용 고려사항

  • 플러그인 파일을 S3에 업로드 후 등록
  • snapshot.locking.mode 등 설정 주의
  • 버전 차이에 따른 구성 차이와 문서 확인

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
AWS MSK Connect 효과적으로 운영하기 섬네일
80%

AWS MSK Connect 효과적으로 운영하기

올리브영 favicon올리브영·2023년 10월 04일
Debezium MSK Connect로 Failover 구현하여 서비스 안정성 높이기 섬네일
76%

Debezium MSK Connect로 Failover 구현하여 서비스 안정성 높이기

올리브영 favicon올리브영·2024년 11월 07일
리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기 섬네일
74%

리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기

AWS faviconAWS·2025년 10월 29일