Research Design의 중요성

Research Design (Design Based Approach)

자연적으로 그룹이 randomzie 되는 상황을 디자인하여 AB 테스트에 준하는 실험을 하는 방법 

 

주사위 던지기같은 Exogeneous Variation으로 Treatment group과 Control group을 랜덤하게 나눔으로서 Research Design을 실현할 수 있음. 다만, Exogeneous Variation이 Outcome에 영향을 주거나 다른 Confounder가 방해하면 안됨. Outcome의 효과가 오로지 Treatment에 의한 것임을 분명히 해야 함 

Design Trumps Analysis

인과추론의 퀄리티를 결정하는 것은 분석 방법, 데이터보다도 "Research Design"이다! 

Causal Inference를 할 때 주의해야 할 사항 

1. randomization을 가능하게 한 요소가 무엇이었고 적절했는가? 

2. sample size가 적절한가? 

3. Treatment assignment가 잘 되었는가? 

4. 주요 변수 (Treatment variable)가 잘 측정되었는가? 

5. 주요 변수가 imbalance 하지는 않는가?