랜덤 균등 분배
참고:
Optilify에서는 대조군(A)과 실험군(B)을 직접 선택할 수 없어요.
A/B 테스트에서는 데이터의 신뢰성과 정확성을 확보하기 위해, 무의식적인 테스터의 편향을 줄이는 것이 매우 중요해요.
이를 위해 일반적으로는 A/A 테스트를 진행해 SRM (표본 비율 불일치)을 방지하곤 해요.
하지만 이러한 과정이 테스트를 설계하는 입장에서의 허들이 될 수 있다고 생각했어요. 기획자나 디자이너가 실험을 준비할 때, SRM 검증이나 트래픽 분배 설정 같은 작업은 복잡하고 부담스러울 수 있거든요.
그래서 Optilify는 별도의 복잡한 설정 없이도 신뢰할 수 있는 실험을 빠르게 설계할 수 있도록 랜덤 균등 분배 방식을 도입했어요.
랜덤 균등 분배
Optilify는 SRM과 사용자 편향을 방지하기 위해 모든 사용자를 동일한 확률로 A 또는 B 그룹에 자동 배정하고, 이를 랜덤 균등 분배라고 해요.
참고
Last updated on