핵심 요약
타다의 비트윈팀은 로그 기반 사용자 분석 파이프라인을 구축하고 익명화를 적용해 개인정보를 보호하면서 데이터 시각화를 통해 의사결정을 지원했습니다.
주요 경험
- 초기에는 6줄짜리 shell 스크립트로 엔드포인트 로그를 카운트하며 시작했고, 점차 Hive 기반의 MapReduce로 확장했습니다.
- 데이터를 HBase에 Date Key와 User Key로 저장하고, Scala로 MapReduce를 구현하여 대용량 분석에 대응했습니다.
- 분석 결과를 MySQL로 가공하고 Play Framework와 D3로 시각화하는 대시보드를 구축해 팀 간 지식 공유와 의사결정을 촉진했습니다.
얻은 인사이트
- 데이터 시각화가 아이디어 공유와 의사결정 속도를 높이는 데 큰 도움이 됨
- 익명화된 로그로도 분석 가치가 충분하며 개인정보를 보호할 수 있음
- 기술 스택의 조합이 확장성과 생산성의 균형을 제공함