Randomized Controlled Trials (RCT, ABTest)

유튜브 "인과추론의 데이터과학"을 참고하여 작성한 글입니다.

---

# 실험 설계 시 Random Assign을 하는 방법

 

재택근무가 업무 효율에 미치는 영향을 분석하고 싶다고 하자. 

재택근무를 하고싶은지 여부를 자원을 받아서 Treatment group, Control group으로 나눴다고 해보자. 

-> 개인이 선택하여(self-selection) 두 그룹이 나뉘어 진 것으로, 두 그룹 간 본질적인 차이가 존재함. 

따라서 self-selected treatment group의 효과(Actual outcome for treated if treated)과 Self-selected control group의 효과(Actual outcome for untreated if not treated)의 차이를 구하면 Causal effect + self selection의 꼴이 된다. 

Counterfactual of Treatment group의 효과 (Potential outcone for treated if not treated)와의 차이를 구해야 Causal effect를 구할 수 있다. 

 

Self-selected Treatment group에 대해서 제비뽑기를 통해 실제 사원들의 재택근무 여부를 결정한다. 

여기서 재택근무에 당첨된 사원은 Randomized Treatment group, 재택근무에 낙첨된 사원은 Randomized Control group이 되고 이 때 Counterfactual로서 기능한다. 이 두 그룹의 효과의 차이가 Caual effect라고 할 수 있다. 

하지만 이 때의 효과가 재택근무에 애초에 지원하지 않은 사원이 재택근무를 시작했을 때의 효과라고 판단할 순 없다 (self selection 문제)

 

# 실험 설계시 주의해야 하는 것: SUTVA - No inference

SUTVA 위배 예시 1: 재택근무 

Potential outcome은 실험에 할당된 개인이 다른 개인의 효과에 영향받아서는 안된다. 

만약 Randomized control group이 본인이 낙첨된 걸 알고 박탈감 때문에 업무 효율성이 줄어든다면 No inference 가정에 위배되는 것이고, 실험에서 이를 주의해야 함 

 

SUTVA 위배 예시 2: 우버의 현금 결제 실험 

 

실험 주제: 택시기사가 어플로 예약한 승객을 받을 때 현금결제 여부가 표시될 때 현금 결제 건수가 증가할까?

Treatment group: 기사에게 고객의 현금결제 여부가 표시됨 

Control group: 기사에게 고객의 현금결제 여부가 표시되지 않음 

SUTVA의 No inference 가설이 깨지게 된 흐름 

• Treatment group의 기사들은 세금을 안내기 위해 현금결제 고객을 선호하여 현금 결제 승객을 많이 받음 
• 카드 결제 고객은 Treatment group의 기사들에게 반려당해서 자연스럽게 Control group의 기사들에게 많이 배정됨 
• Control group의 기사들은 오히려 현금 결제 승객이 줄어듦