Почему явная закономерность в данных не доказывает причинно-следственную связь?
Выраженная закономерность не доказывает причинную связь: она может возникнуть, когда на оба показателя влияет третий фактор, когда причина и следствие на самом деле направлены в обратную сторону или когда совпадение случайно. Корреляция показывает, насколько согласованно меняются две величины, но ничего не говорит о том, почему это происходит.
Рассмотрим вымышленную сеть магазинов товаров для дома «Ларкфилд Хоум» с 30 магазинами. Коммерческий менеджер Прия анализирует прошлый квартал. В восьми магазинах по выходным проводились демонстрации кухонной посуды, а в 22 — нет. Её выгрузка выглядит так: 'Магазины с демонстрациями: средние недельные продажи 41,200. Магазины без демонстраций: 34,900. Разница: +18%. Примечание: магазины для демонстраций выбирали региональные менеджеры. Демонстрации проходили в основном с ноября по декабрь. Среди магазинов с демонстрациями — 5 из наших 6 крупнейших точек.' ИИ-помощник, обобщавший данные таблицы, написал: 'Демонстрации кухонной посуды обеспечивают рост недельных продаж на 18%. Их проведение во всех магазинах должно увеличить выручку.' Совет директоров хочет одобрить запуск во всей сети в понедельник.
| Группа магазинов | Магазины | Средний недельный объём продаж | Крупнейшие сайты в подборке | Месяцы проведения демонстраций |
|---|---|---|---|---|
| Демонстрационные магазины | 8 | 41,200 | 5 из 6 | В основном ноябрь и декабрь |
| Магазины, не являющиеся демонстрационными | 22 | 34,900 | 1 из 6 | Нет |
Как проверить, отражает ли корреляция причинно-следственную связь?
Проверьте корреляцию, поочерёдно исключая три альтернативных объяснения, а затем, где возможно, проведите корректное сравнение, в котором различается только предполагаемая причина. Каждый шаг ниже — это вопрос к данным, который нужно задать, прежде чем кто-либо потратит деньги.
1. Найдите смешивающий фактор
Смешивающий фактор — это третий фактор, который влияет на оба сравниваемых показателя. В случае «Ларкфилд» такими факторами могут быть размер магазина и сезон: крупные магазины и без того продают больше, а в ноябре и декабре спрос на кухонную посуду высок. Спросите себя, чем ещё различаются эти две группы.
2. Проверьте направление
Обратная причинность означает, что следствие на самом деле вызывает предполагаемую причину. Если региональные менеджеры проводили демонстрации в магазинах, где продажи уже шли хорошо, то рост продаж привёл к демонстрациям, а не наоборот. Спросите, как отбирали группы.
3. Учитывайте случайность
При восьми магазинах и данных за один квартал разница может возникнуть случайно, особенно если кто-то изучил много акций и сообщил только о той, которая выделилась. Спросите, сколько сравнений было проведено и сохраняется ли закономерность в другом периоде.
4. Сравнивайте сопоставимое
Сравните магазины с демонстрациями с похожими магазинами без демонстраций за одни и те же недели: крупные с крупными, небольшие с небольшими. Если большая часть разницы исчезнет, значит, её объясняли смешивающие факторы.
5. Проведите эксперимент
Самая надёжная проверка — контролируемый эксперимент: выберите сопоставимые магазины, случайным образом назначьте демонстрации в половине из них на одни и те же недели и сравните результаты. Случайное распределение позволяет равномерно распределить магазины по размеру, местоположению и истории продаж, поэтому оставшаяся разница с гораздо большей вероятностью связана с демонстрациями.
Как выглядят неудачная и улучшенная интерпретации данных Larkfield?
Неудачная интерпретация принимает вывод ИИ на веру: 'Демонстрации увеличивают продажи на 18%, поэтому проводите их везде.' Наблюдаемая разница между двумя группами, которые различаются по размеру, сезону и способу отбора, превращается в обещание того, что произойдёт в 22 других магазинах.
Улучшенная интерпретация звучит так: 'Магазины с демонстрациями продавали на 18% больше в неделю, но в основном это были наши крупнейшие магазины, демонстрации проходили в два самых загруженных месяца, а магазины выбирали региональные руководители. При сравнении пяти крупных магазинов с демонстрациями с крупными магазинами без демонстраций за те же недели разница составляет около 4%, что укладывается в обычные колебания от недели к неделе. Пока мы не можем сказать, помогают ли демонстрации. Предложение: шестинедельный эксперимент в 12 сопоставимых магазинах среднего размера; в шести из них, выбранных случайным образом, проводить демонстрации и измерять продажи кухонной посуды и затраты рабочего времени сотрудников.' Эта версия объясняет совету директоров, что известно, что неизвестно и как это выяснить, ценой задержки на один месяц.
Как сводки ИИ могут вводить вас в заблуждение с помощью корреляций?
Краткие изложения, подготовленные ИИ, чаще всего вводят в заблуждение, когда описывают корреляцию словами, обозначающими причинную связь: «обуславливает», «приводит к», «повышает» или «из-за». Из-за этого закономерность звучит как доказанный эффект. Языковая модель пишет связные объяснения числовых данных, но не знает, как выбирались магазины, если вы ей об этом не сообщили, и редко сама предупреждает, что не может отличить причину от совпадения.
Вы можете снизить этот риск, предоставив помощнику недостающий контекст: как отбирались группы, даты и размер выборки. Попросите его отделить то, что показывают данные, от возможных объяснений. Затем найдите в ответе глаголы, указывающие на причинно-следственную связь, и замените каждую такую формулировку описанием фактического наблюдения, например: «в магазинах, где проводились демонстрации, продажи также были выше».
Как проверить утверждение о причинно-следственной связи, прежде чем действовать на его основе?
Проверяя утверждение о причинно-следственной связи, выясните, как были сформированы группы, предшествовала ли причина следствию в обеих группах, сохраняется ли разница в другом периоде или на большей выборке и используется ли в выводах формулировка «связано с», если данные подтверждают лишь корреляцию. Запишите ответы рядом с утверждением до того, как кто-либо одобрит расходы.
Какие ошибки часто допускают при работе с корреляцией и причинно-следственными связями?
Самая распространённая ошибка — внедрять изменение, потому что на панели показателей обнаружилось различие, не выяснив, как были сформированы группы. Другие ошибки: считать высокий коэффициент корреляции доказательством; сообщать лишь об одной из двадцати акций, которая показала хороший результат; забывать о сезонности; и полагать, что отсутствие корреляции означает отсутствие эффекта. Обратная ошибка тоже стоит денег: отказываться от действий до полной уверенности, хотя небольшой рандомизированный эксперимент обычно обходится недорого.
К какому разделу Tosheo.ai относится этот урок?
Этот урок входит в категорию «Наука о данных и аналитика» и расположен в начале курса по науке о данных, потому что во всех последующих темах — от информационных панелей до машинного обучения — важно не принимать закономерность за причину. В практическом задании Tosheo.ai вы получаете вымышленный набор данных и резюме, написанное ИИ. Обратная связь по критериям оценки указывает на каждое утверждение о причинно-следственной связи, которое данные не подтверждают. Это профессиональная база, а не высшее образование по статистике.