성과 인사이트

성과 인사이트는 베이지안 A/B 테스트를 기반으로 의사결정에 최적화된 결과를 제공해요.
전통적인 A/B 테스트가 통계적 가설 검정을 중심으로 해석하는 것과 달리, 성과 인사이트는 어느 안이 승리할 확률이 높은지를 확률적으로 제공해요. 이를 통해 결과를 직관적으로 이해하고, 그 차이가 비즈니스에 어떤 의미를 가질 수 있는지 함께 해석할 수 있어요.

세부 설명

목표 방향 설정 버튼

지표는 증가 또는 감소 중 어떤 방향을 목표로 하는지에 따라 해석이 달라져요.

• 증가: 값이 클수록 더 나은 성과로 간주해요.
• 감소: 값이 작을수록 더 나은 성과로 간주해요.

베리언트 승률

베리언트 승률은 각 안이 목표 기준에서 더 나은 성과를 낼 확률이에요.

기대 개선율

기대 개선율은 비교 베리언트가 기준 대비 평균적으로 얼마나 개선될 것으로 기대되는지를 나타내는 상대 변화율이에요.
개선 폭의 크기뿐 아니라 승률과 함께 해석하는 것이 중요해요.

잠재적 손실

잠재적 손실은 베리언트(A)를 유지했을 때, 베리언트(B)가 더 나았을 경우 평균적으로 놓치게 될 수 있는 기회 비용을 의미해요.

인사이트 요약

인사이트 요약은 승률과 기대 개선율을 종합해 현재 실험 상황을 한 문장으로 정리해요.
성과 인사이트는 결론을 단정하는 기능이 아니라, 현재 데이터 조건에서 가능한 판단 범위를 보여주고 해석을 돕는 도구예요.

참고

• 통계적 가설 검정
• 베이지안 A/B 테스트