데이터에서 뚜렷한 패턴이 나타나도 원인이 입증되지 않는 이유는 무엇입니까?
뚜렷한 패턴이 있다고 해서 인과관계가 입증되는 것은 아닙니다. 제3의 요인이 두 수치를 모두 움직이거나, 인과관계의 방향이 반대이거나, 우연히 일치할 때도 같은 패턴이 나타날 수 있기 때문입니다. 상관관계는 두 대상이 얼마나 밀접하게 함께 움직이는지를 측정할 뿐, 그 이유는 설명하지 않습니다.
매장이 30개인 가상의 생활용품 소매업체 라크필드 홈을 가정합니다. 판매 책임자 프리야가 지난 분기를 검토하고 있습니다. 매장 여덟 곳은 주말 조리도구 시연을 진행했고, 22곳은 진행하지 않았습니다. 내보낸 데이터에는 이렇게 적혀 있습니다. '시연 매장: 주간 평균 매출 41,200. 미시연 매장: 34,900. 차이: +18%. 참고: 지역 관리자가 시연 매장 선정. 시연은 주로 11월~12월에 진행. 시연 매장에는 규모가 가장 큰 매장 6곳 중 5곳이 포함됨.' 시트를 요약한 AI 어시스턴트는 이렇게 작성했습니다. '조리도구 시연은 주간 매출을 18% 높입니다. 모든 매장으로 확대하면 매출이 증가할 것으로 예상됩니다.' 이사회는 월요일에 확대 시행을 승인하려고 합니다.
| 매장 그룹 | 매장 | 주간 평균 매출 | 최대 규모 사이트 포함 | 시연 진행 월 |
|---|---|---|---|---|
| 시연용 스토어 | 8 | 41,200 | 6개 중 5개 | 주로 11월과 12월 |
| 데모용이 아닌 매장 | 22 | 34,900 | 6개 중 1개 | 없음 |
상관관계가 인과관계인지 어떻게 검증합니까?
상관관계를 검증하려면 다른 세 가지 설명을 하나씩 배제한 뒤, 가능하다면 원인으로 의심되는 요인만 다른 공정한 비교를 진행합니다. 아래의 각 단계는 누군가 비용을 지출하기 전에 데이터에 던져야 할 질문입니다.
1. 교란 변수 찾기
교란 요인은 비교하는 두 대상 모두에 영향을 미치는 제3의 요인입니다. Larkfield에서는 매장 규모와 계절이 이에 해당할 수 있습니다. 대형 매장은 원래 판매량이 더 많고, November와 December는 조리도구 판매가 많은 달이기 때문입니다. 두 집단 사이에 또 어떤 차이가 있는지 질문합니다.
2. 방향 확인하기
역인과관계란 결과라고 생각했던 것이 실제로는 원인이라고 생각했던 것을 유발하는 경우를 말합니다. 지역 관리자가 이미 실적이 좋은 매장에 시연을 제공했다면, 매출 증가가 시연으로 이어진 것이지 그 반대가 아닙니다. 각 집단을 어떻게 선정했는지 질문합니다.
3. 우연의 영향을 고려합니다
매장 여덟 곳의 한 분기 데이터에서는 우연히 차이가 나타날 수 있습니다. 특히 여러 판촉 행사를 살펴본 뒤 눈에 띄는 결과 하나만 보고했다면 더욱 그렇습니다. 비교를 몇 번 했는지, 다른 기간에도 같은 패턴이 유지되는지 확인합니다.
4. 동일한 조건끼리 비교합니다
같은 주에 시연 매장과 유사한 비시연 매장을 비교합니다. 대형 매장은 대형 매장끼리, 소형 매장은 소형 매장끼리 비교합니다. 차이의 대부분이 사라진다면 그 차이를 만든 것은 교란 요인입니다.
5. 실험하기
가장 확실한 검증 방법은 대조 실험입니다. 비슷한 매장들을 고르고, 같은 주 동안 절반의 매장에 무작위로 시연을 배정한 뒤 비교합니다. 무작위 배정은 규모, 위치, 영업 이력의 영향을 고르게 분산하므로, 남는 차이는 시연 때문일 가능성이 훨씬 높습니다.
라크필드 데이터에 대한 미흡한 해석과 개선된 해석은 어떻게 다릅니까?
잘못된 해석은 AI 요약을 그대로 받아들입니다. '시연을 하면 매출이 18% 증가하므로 모든 매장에서 진행하세요.' 이렇게 하면 규모, 계절, 선정 방식이 서로 다른 두 집단에서 관찰된 차이가 다른 22개 매장에서도 같은 일이 일어날 것이라는 약속으로 바뀝니다.
개선된 해석은 다음과 같습니다. '시연 매장의 주간 판매량은 18% 더 많았지만, 대부분 규모가 가장 큰 매장이었고 가장 바쁜 2개월 동안 시연을 진행했으며 지역 관리자가 선정한 매장이었습니다. 대형 시연 매장 5곳을 같은 기간의 대형 비시연 매장과 비교하면 차이는 약 4%로, 통상적인 주간 변동 범위 안에 있습니다. 시연이 도움이 되는지는 아직 판단할 수 없습니다. 제안: 서로 비슷한 중형 매장 12곳에서 6주간 시험하고, 무작위로 선정한 6곳에서 시연을 진행하여 조리 도구 매출과 직원 근무 시간을 측정합니다.' 이 버전은 한 달이 지연되는 대신, 이사회에 알려진 사실과 아직 모르는 내용, 이를 확인할 방법을 전달합니다.
AI 요약은 어떻게 상관관계로 잘못된 판단을 유도할 수 있습니까?
AI 요약이 오해를 낳는 가장 흔한 방식은 상관관계를 '견인하다', '이어지다', '높이다', '~때문에' 같은 인과적 표현으로 서술하는 것입니다. 그러면 관찰된 패턴이 입증된 효과처럼 들리게 됩니다. 언어 모델은 수치에 대해 유창한 설명을 쓰지만, 사용자가 알려 주지 않으면 매장들이 어떻게 선정되었는지 알 수 없으며, 원인과 우연을 구별할 수 없다는 점도 먼저 밝히는 경우가 드뭅니다.
AI 도우미에 부족한 맥락, 즉 집단을 선정한 방법, 날짜, 표본 크기를 제공하고, 데이터가 보여 주는 사실과 그에 대한 가능한 설명을 구분하도록 요청하면 이런 문제를 줄일 수 있습니다. 그런 다음 결과에서 인과관계를 나타내는 동사를 찾아 각각 실제로 관찰된 내용으로 바꿉니다. 예를 들어 '시연을 진행한 매장은 매출도 더 높았습니다'라고 표현합니다.
인과관계에 관한 주장을 바탕으로 행동하기 전에 그 주장을 어떻게 검증합니까?
인과관계에 대한 주장을 검증하려면 집단을 어떻게 선정했는지, 두 집단 모두에서 원인이 결과보다 먼저 발생했는지, 다른 기간이나 더 큰 표본에서도 차이가 유지되는지 확인합니다. 근거가 상관관계만 보여 주는 경우 요약문에서도 '관련이 있다'고 표현하는지 확인합니다. 지출을 승인하기 전에 해당 주장 옆에 이 질문들에 대한 답을 적습니다.
상관관계와 인과관계를 다룰 때 흔히 하는 실수는 무엇입니까?
가장 흔한 실수는 집단이 어떻게 구성됐는지 묻지 않고, 대시보드에 차이가 나타났다는 이유만으로 변경을 적용하는 것입니다. 그 밖에도 높은 상관계수를 증거로 단정하거나, 스무 번의 판촉 중 좋아 보이는 한 번만 보고하거나, 계절성을 잊거나, 상관관계가 없으면 효과도 없다고 가정하는 실수가 있습니다. 반대 방향의 오류도 비용을 초래합니다. 소규모 무작위 실험은 대개 적은 비용으로 할 수 있는데도 완벽히 확신할 때까지 행동하지 않는 경우입니다.
Tosheo.ai에서 이 수업은 어디에 해당합니까?
이 수업은 데이터 과학 및 분석 범주에 속하며 데이터 과학 과정 초반에 나옵니다. 대시보드부터 머신러닝까지 이후의 모든 주제는 패턴을 원인으로 착각하지 않는 데 달려 있기 때문입니다. Tosheo.ai의 실습 과제에서는 가상의 데이터셋과 AI가 작성한 요약을 제공하며, 평가 기준에 따른 피드백은 데이터로 뒷받침할 수 없는 인과관계 주장을 하나씩 짚어 줍니다. 이는 실무 기초 과정이지 통계학 학위 과정이 아닙니다.