핵심 요약
롯데ON은 AOP와 Redis 기반의 실시간 에러 알림 시스템을 도입해 예외 발생 시 즉시 알림을 전송하고, Redis 장애 시 RDB로 책임을 이관하는 체계로 중복 알림을 TTL로 제어합니다. Slack과 Webex로 포맷된 알림을 신속하게 전달합니다.
구현 방법
- AOP로 예외 정보를 포맷팅하고 Redis에 동일 예외 여부를 판단한 뒤 TTL 5분으로 새 항목을 삽입하고 알림 전송
- 동일 예외가 존재하면 최근 5분/30분 이내 중복으로 간주하여 TTL 30분으로 설정하고 발생 건수를 +1, 기존 건수 5초 초과 시 알림 제외
- Redis 장애 시 책임은 RDB로 넘어가고, Redis가 Down되면 RDB를 통해 최근 30분 이내 동일 예외를 확인하고 알림 전송
- Redis와 RDB 장애 시 Next Handler로 흐름을 넘겨 최종적으로 알림이 가도록 구성하는 체인 패턴
- WriteBack 패턴으로 Redis 이력 정보를 RDB로 주기적으로 동기화
주요 결과
- 실시간 알림 가능성과 알림 정확성 향상
- 5분 TTL, 30분 TTL 도입으로 중복 알림 억제
- Redis/RDB 장애 시에도 알림 전달 보장
- RCA 분석을 위한 이력 데이터 유지
