Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기 섬네일

왜 막상 배포하면 효과가 없지? 타겟 지표에 맞는 ML모델 train/eval 설계하기

하이퍼커넥트 favicon하이퍼커넥트·AI/ML·
AB TestingSupervised LearningRandomized Controlled TrialProbabilistic Graphical ModelPairwise Ranking
2025년 11월 28일4

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

하이퍼커넥트는 아이템 속성 중 대표 속성을 예측하는 ML 문제로 정의하고, confounder를 제거하기 위해 랜덤화(RCT) 데이터와 속성 셔플 오프라인 평가를 활용해 비즈니스 임팩트를 검증했습니다.

구현 방법

  • 쌍(pairwise) 학습으로 속성 간 전환율 비교, score 차이로 확률을 예측하는 f_theta(A) 모델 사용
  • 아이템 내 속성 간 모든 조합(NC2)을 샘플링하고 같은 아이템의 비교로 분포를 동질화
  • 랜덤화 기반 데이터 수집과 오프라인 평가로 mean CR lift를 비즈니스 지표로 활용

주요 결과

  • 오프라인 평가에서 mean CR lift가 기존 방법 대비 최상으로 나타남
  • 온라인 A/B 테스트에서도 전환율 상승이 확인되어 배포 가능성 시사

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
비즈니스 성과로 연결되는 AI 제품 개발 프로세스와 운영 지표 섬네일
74%

비즈니스 성과로 연결되는 AI 제품 개발 프로세스와 운영 지표

뤼이드 favicon뤼이드·2023년 11월 17일
아자르에서는 어떤 추천 모델을 사용하고 있을까? 섬네일
72%

아자르에서는 어떤 추천 모델을 사용하고 있을까?

하이퍼커넥트 favicon하이퍼커넥트·2024년 11월 19일
No Image
72%

“함께 구매하면 좋은 상품” 추천 모델 고도화

우아한형제들 favicon우아한형제들·2025년 12월 11일