- 서로 다른 광고 버전이나 타겟 전략을 비교해 더 나은 성과를 내는 조합을 자동으로 판단하고 최적화하는 기법
- 기존 수동 A/B 테스트는 설계부터 결과 분석까지 시간이 오래 걸려 실시간 반영이 어려웠음
- 자동화된 A/B 테스트는 데이터 수집, 통계 분석, 버전 전환까지 전 과정을 실시간으로 처리
- 프로세스는 광고 버전 설정 → 실시간 데이터 수집 및 처리 → 자동 통계 분석 → 자동 최적화 결정 순으로 이어짐
광고 버전 설정 : 여러 버전의 광고 크리에이티브를 사전에 정의하고 버전별 초기 노출 비율을 설정
실시간 데이터 수집 및 처리 : Apache Kafka로 클릭률/전환률/체류 시간 등 사용자 반응 데이터를 실시간 수집. PySpark/Spark Streaming으로 버전별 성과를 실시간으로 집계
자동 통계 분석 : 전통적인 A/B 테스트(p<0.05 기준)는 충분한 데이터가 쌓일 때까지 기다려야 해서 광고처럼 예산이 소모되는 환경에서는 비효율적
- 베이지안 A/B 테스트 : 지금까지의 데이터로 B 버전이 A보다 나을 확률를 실시간 업데이트. 기준 충족 시 즉시 실험 종료 가능
- 순차 테스트(Sequential Testing) : 실험 중간에도 유의미한 결과가 나오는 순간 실험 종료. scipy.stats/statsmodels(전통적 통계), bayespy/pymc3(베이지안 모델링), Ax(베이지안 A/B 테스트 자동화 통합 플랫폼)로 구현
자동 최적화 결정 : 성능이 더 좋은 버전이 95% 이상 확률로 우수하다는 결과가 나오면 자동으로 해당 버전으로 전환. 성과가 낮은 버전으로 낭비되는 광고비도 줄임