2025-01-06 TIL (가설 검증 방법)

아티클 # 15

실험 조직으로 거듭나기: ② 검증할 ‘만’한 가설은? | 요즘IT

 

1. 아티클 주요 내용 요약

• 핵심 주제: 가설을 검증하는 방법에 대해 알아보자
• 주요 내용: 
  • 어떤 가설을 검증할지 결정하고 이를 어떤 방식으로 검증할지 결정한다.
    1. 검증할 가설을 선택한다.
    2. 가설 검증 방식을 결정한다.
    3. 검증 지표와 목표 수치를 결정한다.
    4. 실험 기간을 결정한다.
    5. 기존 실험 환경을 튜닝해 최적의 실험 환경을 만든다.
    6. 실험을 진행하고, 검증 데이터를 모은다.
    7. 데이터를 분석해 가설을 검증한다.
    8. 학습한다.
  • 검증할 수 있는 가설의 수가 한정된 상태에서 아무 가설이나 검증할 수 없는 노릇이다. 여러 가설 사이에서 우선 순위를 매기고, 가장 가치가 높아 보이는 가설부터 검증을 해야 한다.
  • 린 프로세스
    1. 직면한 상황을 분석해 문제를 찾고
    2. 이 문제를 일으킨 근본 원인을 찾는다.
    3. 이와 관련된 아이디어를 구현 및 배포하고
    4. 고객 반응을 통해 문제나 아이디어를 검증한다.
    5. 앞선 과정에서 배운 것을 학습하는 과정을 반복한다.
    지금의 상황을 되돌아봐야지, 비로소 무엇이 문제인지 알 수 있다. 이때 사용하는 게 OKR이다.
  • OKR
    1. 구성원 모두가 따르는 판단 기준
    2. 이정표를 제시하는 마일스톤이다.
    
    

예시

• 가설 검증에도 Actionable이 필요하다. 즉, "이 가설을 검증했을 때, 우리가 다음에 어디로 가야 하는지 알 수 있을까?를 고민해야한다.
• 검증 방법 
  1. AB 테스트
  - 서로 다른 시안을 비슷한 사용자 군에게 동시에 노출시켜서 유의미함을 판단하는 실험이다. 쉽게 말하면 비교를 통한 가설 검증이다.
  - 비슷한 사용자군, 동 시간의 노출이다. 변수의 통제가 중요하다. 시간과 사용자도 통제 변수가 된다.
  - 실험에 영향을 주는 건 AB 테스트를 위해 설정한 변수뿐이어야만 한다. 그래야 명확한 가설 검증이 가능하다.
  2. 실험 전후 검증은 실험이 진행되기 전과 후의 고객 반응을 비교해서 가설을 검증하는 방법이다. 
  - 이 방법은 가설 설정이 매우 쉬운 편이나, 유의미성을 갖기 어렵다. 따라서 되도록 AB 테스트를 하는 것을 추천한다.
  3. 고객 행동을 말해보자 XYZ 가설 검증 (고객 행동을 정량적으로 접근하는 차이가 있다)
  X의 Y%는 Z 할 것이다.
  - X : 우리의 표적은 누구일까
  - Y : 표적 시장의 몇 퍼센트를 차지할 수 있을까?
  - Z : 표적 시장은 우리 제품에 어떤 식으로, 정확히 어느 범위까지 호응할까?
• 이제 남은 일은 이 뼈대에 어떻게 살을 붙이느냐다. 참, 거짓을 어떤 데이터를 보고 판단할지, 얼마나 실험을 진행해야 하는지

 

2. 인사이트 및 배운 점

• 배운 점: 가설에도 순서가 있다. 근본 원인 : 검증해야 할 가설
• 활용 방안: 현황을 분석한다. 문제를 찾는다. 문제의 근본 원인을 찾는다. 아이디어 구현 및 배포하고 검증

 

3. 생각 및 의견

• 나의 의견: 가설에도 Actionable해야 하고 목표를 위한 가설에 가까워져야한다.

 

4. 추가 학습 계획

일단 데이터는 살아있는 데이터에 적용을 할 수 있는 방안이다. 멈춰 있는 데이터로는 검증이 어렵다. 그렇다면 이럴 때 어떻게 접근을 해야하는가.

 

 

 

---