データに明確な傾向があっても、原因の証明にはならないのはなぜですか？
強い関連が見られても、因果関係の証明にはなりません。第三の要因が両方の数値を動かしている場合、因果の向きが逆の場合、偶然一致した場合にも、同じ関連が現れるからです。相関は2つのものがどの程度連動するかを示す指標であり、その理由は示しません。
架空の30店舗を展開する家庭用品小売業、ラークフィールド・ホームを例に考えます。販売責任者のプリヤは、前四半期を振り返っています。8店舗は週末に調理器具の実演を行い、22店舗は行いませんでした。書き出したデータは次のとおりです。'実演実施店舗：平均週間売上41,200。未実施店舗：34,900。差：+18%。注：実演店舗はエリアマネージャーが選定。実演は主に11月から12月に実施。実演店舗には、当社の最大規模の6店舗のうち5店舗が含まれる。' この表を要約したAIアシスタントは、'調理器具の実演により、週間売上が18%増加しています。全店舗で実施すれば、売上の増加が見込めます。'と書きました。取締役会は月曜日に全店展開を承認したいと考えています。
| 店舗グループ | 店舗 | 週平均売上 | 最大規模のサイトも対象 | デモを実施した月 |
|---|---|---|---|---|
| デモ用ストア | 8 | 41,200 | 6件中5件目 | 主に11月と12月 |
| デモ用ではないストア | 22 | 34,900 | 6件中1件 | なし |
相関関係に因果関係があるか、どのように検証しますか？
3つの別の説明を1つずつ除外して相関を検証し、可能であれば、原因と考えられる要因だけが異なる公平な比較を行ってください。以下の各手順は、費用をかける前にデータについて確認すべき問いです。
1. 交絡因子を探します
交絡因子とは、比較する両方の事柄に影響する第三の要因です。ラークフィールドでは、店舗の規模と季節が候補になります。大きな店舗はもともと売上が多く、11月と12月は調理器具がよく売れる時期です。2つのグループの間に、ほかにどのような違いがあるかを問いましょう。
2. 方向を確認します
逆因果とは、結果と考えていたものが、実際には原因と考えていたものを引き起こしていることです。エリアマネージャーが、すでに業績の良い店舗を対象に実演を行っていたなら、売上の増加が実演につながったのであり、その逆ではありません。各グループがどのように選ばれたかを確認します。
3. 偶然の影響を考慮します
8店舗の1四半期分のデータでは、偶然に差が出ることがあります。多くの販促施策を調べたうえで、目立ったものだけを報告した場合は特にそうです。比較を何回行ったのか、別の期間でも同じ傾向が見られるのかを確認してください。
4. 同じ条件で比較します
同じ週について、デモ実施店舗と条件の似た未実施店舗を比較します。大規模店舗は大規模店舗と、小規模店舗は小規模店舗と比較します。差の大部分が消えるなら、その差を生んでいたのは交絡因子です。
5. 実験を行う
最も確かな検証方法は、対照群を設けた試験です。比較可能な店舗を選び、その半数を無作為に選んで同じ週に実演を行い、結果を比較します。無作為に割り付けることで、規模、立地、営業実績の偏りが抑えられるため、残った差は実演によるものである可能性が大きく高まります。
ラークフィールドのデータの読み取りには、不十分な例と改善した例でどのような違いがありますか？
不適切な読み取りでは、AIの要約をそのまま受け入れます。「実演で売上が18%増えるので、全店舗で実施しましょう。」これは、規模、季節、選ばれ方が異なる2つの集団で観測された差を、ほかの22店舗でも起きることとして約束してしまっています。
改善後の解釈は次のとおりです。「実演を行った店舗の週当たり売上は18%多くなりました。ただし、その大半は当社でも特に大きな店舗で、最も繁忙な2か月間に実演を行い、対象店舗はエリアマネージャーが選んでいました。実演を行った大型店5店舗と、実演を行わなかった大型店を同じ週で比較すると、差は約4%で、通常の週ごとの変動の範囲内です。実演に効果があるかどうかは、まだ判断できません。提案：条件の近い中規模店12店舗で6週間の試験を行い、無作為に選んだ6店舗で実演を実施して、調理器具の売上と従業員の作業時間を測定します。」この版では、1か月の遅れと引き換えに、何が分かっていて、何が分かっておらず、どう調べるかを取締役会に伝えられます。
AIによる要約では、相関関係によってどのような誤解が生じることがありますか？
AIの要約で特に多い誤解の原因は、相関関係を「もたらす」「つながる」「押し上げる」「〜のため」といった因果関係を示す言葉で説明することです。これにより、単なる傾向が、証明された効果であるかのように聞こえます。言語モデルは数値について流暢な説明を書きますが、店舗がどのように選ばれたかは、伝えない限りわかりません。また、原因と偶然を区別できないことを、自ら断ることはほとんどありません。
これを減らすには、グループの選び方、日付、サンプル数など、アシスタントに不足している背景情報を与え、データが示していることと、考えられる説明を分けるよう求めます。その後、出力に因果関係を示す動詞がないか確認し、実際に観察された内容に置き換えてください。たとえば「実演を行った店舗では、売上も高かった」とします。
因果関係についての主張を行動に移す前に、どう検証しますか？
因果関係についての主張は、各グループがどのように選ばれたか、両グループで原因が結果より先に生じているか、別の期間やより大きなサンプルでも差が見られるかを確認してください。また、証拠が相関関係しか示していない場合に、要約が「関連がある」という表現になっているかも確認します。支出が承認される前に、それぞれの答えを主張の横に書き添えてください。
相関関係と因果関係についてよくある間違いは何ですか？
最も多い間違いは、ダッシュボードに差が出ているという理由だけで、各グループがどう作られたかを確認せずに変更を展開することです。ほかにも、高い相関係数を証拠とみなす、20件の販促施策のうち良く見えた1件だけを報告する、季節性を忘れる、相関がなければ効果もないと思い込む、といった間違いがあります。逆に、完全に確実になるまで行動しないことも損失につながります。小規模な無作為化試験なら、通常は低コストで実施できます。
このレッスンはTosheo.aiの中でどのように位置づけられていますか?
このレッスンはデータサイエンス・分析カテゴリーに属し、データサイエンス講座の序盤に位置します。ダッシュボードから機械学習まで、その後のすべての内容で、パターンを原因と取り違えないことが重要だからです。Tosheo.aiの実習課題では、架空のデータセットとAIが書いた要約を使います。採点基準に基づくフィードバックでは、データで裏づけられない因果関係の主張を一つずつ指摘します。実務上の基礎を学ぶものであり、統計学の学位課程ではありません。