SRM (표본 비율 불일치)

SRM은 테스트에서 의도한 표본 비율과 실제 표본 비율이 일치하지 않는 현상을 말해요.
예를 들어 A 그룹과 B 그룹에 각각 50%씩 사용자를 배정하려 했지만 실제로는 A 그룹에 70%, B 그룹에 30%가 할당된 경우, 이는 SRM에 해당돼요.

SRM이 중요한 이유

A/B 테스트의 가장 중요한 전제는 실험 대상 그룹에 사용자를 무작위로 균등하게 배정하는 것이에요. SRM이 발생하면 이 전제가 깨져 다음과 같은 문제가 발생해요.

• 실험 결과의 신뢰성 저하: SRM이 발생하면 그룹 간 차이가 실험 효과 때문인지 단순 표본 불균형 때문인지 구분하기 어려워지고, 이는 실험 결과에 대한 신뢰를 떨어뜨려요.
• 통계적 유효성 상실: A/B 테스트의 통계적 가설 검정은 무작위 할당을 전제로 해요. SRM은 이 전제를 위반해 통계적 가설 검정 결과를 왜곡시킬 수 있어요.

SRM을 방지하는 방법

일반적으로 실험 시작 전에 A/A 테스트를 통해 SRM 발생 가능성을 점검해 SRM을 사전에 방지할 수 있어요.
Optilify는 랜덤 균등 분배를 통해 SRM을 사전에 방지하고 A/A 테스트와 같은 초기 실험 환경 설정 절차를 생략해 유저가 실험에 집중할 수 있도록 돕고 있어요.

참고

• 랜덤 균등 분배
• A/A 테스트
• 통계적 가설 검정