Почему рекомендательные системы важны не только для крупных технологических компаний?
Рекомендательные системы важны для любого бизнеса, в котором товаров больше, чем покупатель способен просмотреть: от того, что система показывает первым, во многом зависит, какие товары заметят, купят и снова закажут у поставщиков.
Рассмотрим вымышленный интернет-магазин товаров для рукоделия «Уиллоумир Крафтс» с примерно 4,000 товаров и командой из 15 человек. Руководитель электронной торговли Хана получила жалобу от отдела закупок и отчёт от агентства, которое настроило блок 'Вам также может понравиться'. В её заметках сказано: 'почти на каждой странице рекомендуются одни и те же 40 товаров. новая весенняя коллекция пряжи (220 позиций) почти не показывалась в рекомендациях за 3 недели. постоянные покупатели получают подходящие предложения, а новым посетителям показывается что-то на вид случайное. независимые производители говорят, что их товары вообще не появляются.' Ей нужно объяснить основателю, что происходит, прежде чем просить агентство внести изменения.
Как рекомендательные системы решают, что показывать?
Большинство рекомендательных систем используют фильтрацию по содержимому, коллаборативную фильтрацию или их сочетание. Разница в том, что именно они сравнивают: объекты с объектами или людей с людьми.
Фильтрация на основе содержимого
Рекомендует товары, похожие на те, которые человеку уже нравятся, на основе характеристик товаров. Покупателю толстой пряжи из мериносовой шерсти сине-зелёного цвета показывают другую толстую шерстяную пряжу и другую сине-зелёную пряжу. Данные о других покупателях не нужны, но качество рекомендаций зависит от того, насколько хорошо описаны характеристики товаров. Такой подход редко предлагает что-то неожиданное за пределами привычных вкусов человека.
Коллаборативная фильтрация
Рекомендует то, что понравилось похожим пользователям. Если покупатели набора для начинающих вязальщиков часто затем покупали маркеры петель и книгу со схемами, новому покупателю такого набора показывают эти товары. Такой подход позволяет находить неожиданные, но полезные предложения и не требует описаний товаров, однако зависит от истории взаимодействий.
Гибридные системы
Сочетайте оба подхода, часто дополняя их простыми правилами, например исключением товаров, которых нет в наличии, чтобы каждый подход компенсировал слабые стороны другого.
Что такое проблема холодного старта?
Проблема холодного старта заключается в том, что рекомендательной системе трудно работать с новыми товарами и пользователями, поскольку истории взаимодействий с ними ещё нет. В частности, коллаборативная фильтрация не может определить место товара, который ещё никто не покупал и не открывал, — именно это произошло с весенним ассортиментом пряжи «Уиллоумир». О посетителе, пришедшем впервые, у неё тоже почти нет данных.
Обычно для новых товаров используют сходство по характеристикам или оценивают их на основе других товаров той же категории или того же производителя. Новым посетителям показывают намеренно разнообразную подборку популярных товаров и задают один-два коротких вопроса о предпочтениях, если это уместно для магазина.
Как возникают петли обратной связи и проблемы со справедливостью?
Петля обратной связи возникает, когда система учится на кликах по товарам, которые сама выбрала для показа. Часто показываемые товары получают больше кликов, из-за чего их показывают ещё чаще. Со временем небольшой набор популярных товаров вытесняет все остальные, как в случае с 40 товарами «Уиллоумир», а товары, которые ни разу не показывались, так и не получают шанса проявить себя.
Это напрямую поднимает вопросы справедливости. Если у товаров независимых производителей изначально меньше истории взаимодействий, такой цикл может оставлять их незаметными независимо от качества, а покупатели лишаются выбора. Противодействовать этому можно, выделяя несколько мест в рекомендациях для новых товаров или товаров с меньшим числом показов, измеряя показы по производителям и категориям, а не только общее число кликов, и обновляя обучающие данные модели, чтобы она училась не только на своих прошлых решениях.
Как выглядят неудачный и улучшенный запросы в агентство?
Слабый запрос звучит так: 'Рекомендации не работают, пожалуйста, улучшите их.' Агентство может просто дообучить модель на большем объёме тех же данных о кликах, что усилит замкнутый круг.
Улучшенный запрос гласит: 'Похоже, наш блок рекомендаций опирается только на историю покупок. Просим: (1) использовать характеристики товаров, например состав волокна, вес, цвет и технику изготовления, для рекомендаций новых товаров, пока у них не накопится достаточно истории; (2) показывать новым посетителям разнообразную подборку из разных категорий, а не единый список бестселлеров; (3) выделять два из восьми мест товарам, которые редко показывались за последние 30 дней; (4) ежемесячно предоставлять долю показов рекомендаций в разрезе изготовителей и времени с момента добавления товара; (5) тестировать изменения в сравнении с текущим блоком на разных группах посетителей, измеряя заказы, а не только клики.' Теперь Хана может оценить, выполнена ли работа.
Как проверить, что рекомендации работают?
Проверяйте рекомендации: оценивайте не только переходы по ссылкам, но и заказы, возвраты и то, насколько равномерно распределяются показы между товарами и поставщиками. Блок рекомендаций, который повышает число кликов по нескольким бестселлерам, но скрывает новые линейки, может вредить бизнесу. Сравнивайте изменения с контрольной группой посетителей, которые видят старую версию: во время распродажи или праздников рекомендации будут показывать лучшие результаты независимо от модели.
Какие ошибки часто допускают при работе с рекомендательными системами?
Самая распространённая ошибка — оптимизировать систему только под клики: это отдаёт преимущество броским материалам и усиливает петлю обратной связи. Другие ошибки: запускать новый ассортимент без характеристик содержимого, из-за чего возникает проблема холодного старта; оценивать успех сравнением показателей до и после без контрольной группы; не замечать, какие поставщики или категории никогда не появляются в рекомендациях; и использовать персональные данные для рекомендаций, не сообщая об этом клиентам в уведомлении о конфиденциальности.
К какому разделу Tosheo.ai относится этот урок?
Этот урок входит в категорию «Машинное обучение» курса по машинному обучению и следует за уроками об обучении и оценке моделей. В практическом задании Tosheo.ai вам нужно составить техническое задание на улучшение рекомендаций вымышленного магазина. Обратная связь по критериям оценки проверяет, учтены ли холодный старт, петли обратной связи, справедливость и корректность проверки. Это профессиональная база для постановки и оценки такой работы. Создание рекомендательной системы в коде входит в дополнительное направление «Программирование».