2025-01-14 TIL (A/B Test)

아티클 # 18

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석 | 요즘IT

 

A/B Test 계산기

A/B-Test Calculator - Power & Significance - ABTestGuide.com

 

1. 아티클 주요 내용 요약

• 핵심 주제 :  Google Analytics가 없어도 되는 간단한 A/B Test 계산기 사용법
• 주요 내용 :
  • 계산기 사용법
  • Test Data
    각 그룹의 표본 크기와 그룹별 최종 전환 숫자
  • Settings-Hypthesis
    1. 두 그룹이 차이가 있다. 특정 한쪽이 무조건 우세 (단측)
    2. 두 그룹이 차이가 있긴 한데 어느 쪽이 우세 (양측)
  • Settings-Confidence
  • p-value > 0.05일 때, 잠깐 A, B사이에는 정말로 차이가 없는건가?, 기획 아이디어가 망한건가?
  • 차이가 있는데, 표본이 부족해서 그런가?, 좀 더 길거나 크게 실험해서 표본 트래픽을 더 모으면 되나?

 

2. 추가 학습 계획

A/B Test 4번째 아티클로~

1. A/B 테스트에서 표본(트래픽)의 크기와 유의미한 결과가 어떤 관계가 있는지

2. A/B 테스트에서 표본(트래픽)을 얼마나 모아야 하는지?

3. 이와 관련해 실제 A/B 테스트를 진행할 때 주의할 사항은 없는지

 

 

애초에 두 그룹 사이에 별 차이가 없거나 아니면 네가 모아 온 그 쥐꼬리만 한 표본으로는 누가
 나은 건지, 이게 이번에만 우연인지 아닌지 나도 모르겠어!

---