2025-01-20 TIL (A/B test)

아티클 # 23

알라미의 A/B 테스팅 일지 #1

 

거래 후기 실험을 통해 따뜻한 거래 경험 만들기

 

1. 아티클 주요 내용 요약

• 핵심 주제: A/B Test Case 
• 주요 내용:
  • 알리미 
    여러 가설을 세워 꾸준히 스토어 등록정보 A/B test를 하다보면 스토어 획득률을 개선
    전환문구 A/B test 사례
    
    -주의 할점-
    리소스는 제한되어 있기 때문에 A/B 테스팅이 가져올 파급력을 고려해서 진행해야한다.
    정말 될 법한 가설을 세우고 제한된 리소스내에서 해당 A/B test을 진행할 가치가 있는지에 대한 고민을 먼저 한다면 더욱 좋은 결과를 낼 수 있다.(사용자를 잘 이해하고 있다면 생각보다 가설이 잘 들어맞는다)
    
    - 기간으로 비교한 A/B Test -
    외부 요인에 따라 잘못된 선택을 할 수 있다. 기본적으로 같은 기간에 하는게 좋다.
    
    - 적절한 모수 -
    
    - 맺음말 - 
    결국, 리소스가 부족한 스타트업에서는 몇 퍼센트의 개선에 집착하는 것보다 사용자들이 이미 겪고 있는 불편함이나 개선점에 신경을 쓰는 것이 더 효과적일 수 있다. 무작정 A/B 테스트을 하기보다는 좋은 가설을 세우고 A/B 테스트의 파급력을 고려하여 진행하길 추천한다.
    
    
  • 당근 마켓
    데이터를 보다가 재미있는 부분 발견 : 단순히 거래를 경험한 사용자보다는 거래 후기를 주고 받은 사용자가 더 높은 유지율을 보였고, 정성이 담긴 텍스트 후기를 받은 유저는 그보다 더 높은 유지율을 보였어요.
    
    - 더 따듯한 서비스를 만들기 위한 실험
    1. 목표 세우기 : 따뜻함이 목표..?!
    2. 현 상황을 분석 : 구매자가 판매자 보다 거래 후기를 덜 작성한다는것을 데이터를 통해 확인
    3. 아이디어 수집 : 구매자에게 채팅 메세지로 후기 작성을 유도하는 시스템 메시지 발송
    4. 가설을 세우고 실험을 설계 : 
    가설 : 거래 완료한 게시글의 채팅시스템 메세지로 거래 후기 작성을 유도하면, 거래 후기 작성률이 높아질 것이다.
    핵심지표 : 구매자 중 거래 완료 게시글에 후기를 작성한 비율 측정
    5. 실험 결과를 분석하고 서비스 반영 여부 결정
    2주간 실험 진행 -> 실험 결과 작성률이 유의미하게 증가함을 알 수 있다.
    목표 지표였던 구매자 거래 후기만이 아닌 양방향 후기가 모두 증가했다.

 

2. 인사이트 및 배운 점

• 배운 점 : 통계란 참 신기한 학문이다. 리소스가 충분해야하고, A/B Test 설계과정에 대해서 엿볼 수 있는 아티클이였다.
  해당 목표를 달성을 추적하는 지표를 설정해야한다.
• 활용 방안 : 스타트업의 실험 같은 경우는 pmf 마켓 핏이 맞는지 검증하는 실험이 더욱 우선시 해야하는 것 같다. 그 후 서비스 성장을 위해 많은 실험을 해야한다.

 

3. 생각 및 의견

• 나의 의견 : 따듯함이 목표라니 멋지다. 정성적인 것을 정량적으로 측정한다는 것이.

 

4. 추가 학습 계획

이제 마지막 A/B test 5번째 모수에 대해서 읽는 것만 남았다.

 

 

---

 

 

통계 101 X 데이터 분석 북스터디

1. 통계학이란

[통계 101 x 데이터 분석] 통계학이란?

2. 모집단과 표본

[통계 101 x 데이터 분석] 모집단과 표본

3. 통계분석의 기초

[통계 101 x 데이터 분석] 통계분석의 기초