Циан, Т-Банк, ВкусВилл, Wildberries, Мой Офис, Авито, ВК — мы рассказывали, как устроены (и меняются) исследования в этих командах в предыдущих сериях.
На этот раз нас пустила за кулисы команда Магнита, а именно Настя Кныжова — руководитель направления исследований. Поговорили о том, как ребята успевают проводить исследования и онлайн, и офлайн, как развивают свою базу респондентов и работают с её мотивацией и от чего пришлось отказаться, чтобы начать понимать пользователей лучше.
01 Настя, с чего началась ваша UX-культура? Откуда возник запрос на проведение исследований?
Всё началось 5 лет назад. Главный вопрос, который тогда перед нами стоял: почему не растёт MAU мобильного приложения? Основная метрика на тот момент.
Мы собрали кроссфункциональную рабочую группу (исследования, аналитика, продукт), составили гипотезы на основе имеющихся данных и пошли в исследования. Сначала — в качественное, и затем завалидировали результаты количественно.
По результатам мы выделили 6 ключевых сценариев использования приложения, и работали над их улучшением весь следующий год. А ещё, обнаружили и исправили критические ошибки (например, проблемы с авторизацией) и собрали запросы пользователей на новые фичи. Всё это помогло нам двинуться вперед и начать растить MAU.
02 Как ваш отдел исследований выглядит сейчас? Что вы можете себе позволить благодаря масштабу, а где он, наоборот, мешает?
Сейчас наше направление — это 3 ключевых вертикали, связанных между собой:
UX-исследования всех цифровых продуктов Магнита
UX-редакция
CJE (отвечает за то, чтобы клиентский путь был целостным и непрерывным: анализирует обратную связь из разных каналов, проектирует cjm as-is и to-be)
Главный плюс масштаба — это достижимость нашей аудитории. Благодаря большой базе пользователей мы можем находить респондентов под самые разные сегменты. А ещё у нас не скучно — масштаб обеспечивает разнообразие задач.
03 Какие у вас основные механизмы привлечения аудитории?
Их 3 — в зависимости от источника респондентов и типа исследования.
01 Для количественных опросов среди своей базы мы используем:
пуши в приложении (массовый охват, выделение сегментов ЦА);
чат с лояльными пользователями (когда нужно получить быстрый результат).
02 Для качественных исследований по своей базе — звоним, пишем, приглашаем на интервью через опросы.
03 Для проектов, где нужна не наша ЦА, используем онлайн-панели для количественных опросов и рекрутинговое агентство для качественных исследований.
04 А как вы работаете с мотивацией/лояльностью своей базы, чтобы её не выжигать?
Да, находить свежих респондентов — это отдельный вызов: одних только количественных исследований мы проводим порядка 15–20 в месяц.
Мы относимся к нашим пользователям бережно. Соблюдаем политику контактов и не связываемся с одним и тем же человеком несколько раз в месяц.
Когда видим, что падают конверсии, стараемся это анализировать и предпринимать действия: например, в какой-то момент подняли вознаграждение потому что поняли, что текущее уже не работает. Если это опросы, то мы экспериментируем с текстом пушей и каналами коммуникации.
05 Какие исследования вы проводите регулярно, а от каких отказались?
Мы регулярно замеряем NPS и CSI для мобильного приложения, анализируем отзывы в сторах и обновляем CJM приложения, чтобы отследить проблемы клиентского пути.
Раньше делали юзабилити-аудит — исследование ключевых сценариев и проблем в их текущем состоянии (as is). Но он не прижился: аудит «всего подряд» без конкретного бизнес-вопроса давал мало инсайтов и действий. Без четкого фокуса невозможно глубоко проработать каждый сценарий.
Поэтому сейчас запускаем исследования под гипотезу и с опорой на конкретную метрику — чтобы результат сразу превращался в задачу в бэклоге.
06 Расскажи о кейсе, когда результаты исследований побудили команду продукта пересмотреть первоначальное решение
Один из самых непростых и самых интересных наших проектов.
Когда-то у нас было 2 приложения — лояльности (для офлайн-пользователей) и доставки (для онлайна). Мы решили их объединить и ключевой вопрос был: как сделать это так, чтобы при этом не поломать клиентский путь обоих сегментов.
Продукт хотел объединить каталоги, но данные исследований говорили другое. Мы провели тесты на наших прототипах и приложениях конкурентов: всё говорило об одном — единый каталог делать не надо.
Команда продукта отказалась от первоначальной гипотезы в пользу данных исследований: от идеи общего каталога мы ушли в разработку раздельных вкладок, потому что пользователям было так понятнее и удобнее.
07 Магнит — это ещё и огромный офлайн. Заходят ли исследования в офлайн-опыт или фокус пока на приложении?
У нас есть 3 направления офлайн-исследований:
1. Весь опыт в торговом зале: выбор товара, принятие решений. Этим стримом занимаются другие команды.
2. Опыт покупки. Покупки можно совершать на кассе или кассе самообслуживания. Второе — наша зона ответственности. Мы проверяем интерфейс, тестируем новые фичи и в целом исследуем весь опыт покупки на кассе самообслуживания.
Но совершить покупку можно также на обычной кассе. Тут в нашу зону ответственности входят исследования самой кассы, опыта взаимодействия кассира с кассой, но мы не отвечаем за исследования контекста вокруг кассы, например, мы не исследуем, как влияет выкладка товаров по акции на средний чек.
3. Опыт сотрудника магазина. Это тоже входит в нашу зону ответственности. Здесь мы исследуем все те сервисы, которые обеспечивают выполнение ежедневных задач сотрудников магазинов.
Если говорить не только про офлайн — ещё у нас есть отдельный стрим внутри нашей команды, который занимается внутренними продуктами Магнита:
Сервисы для сотрудников розницы
Сервисы для сотрудников офиса: система для постановки и отслеживания KPI, внутренний портал для сотрудников, приложение для сотрудников
Сервисы для поиска, отбора и адаптации сотрудника розницы
08 Как у вас выглядит механизм/процесс обмена инсайтами с другими командами?
У нас нет отдельного процесса, но мы периодически приходим друг к другу за помощью и с точечными запросами. Два примера:
01
Коллеги внедрили новую систему, которая должна была помочь выкладывать товары и проверять их состояние на полках. Целью было упростить персоналу работу, но реализация оказалась такой, что сотрудники магазинов начали саботировать систему.
Мы объединились с командой исследований офлайна, сходили в магазин, провели интервью и выявили ключевые проблемы и боли.
02
Анализируя опросы NPS после визитов клиентов в магазины, коллеги заметили противоречивые данные. Люди давали низкую оценку NPS и не оставляли текстовых комментариев, но при этом по всем последующим CSI-метрикам ставили максимальные баллы.
Это стало проблемой, так как на показатели NPS завязана мотивация директоров магазинов. Было неясно, что именно происходит: являются ли такие оценки случайностью или за ними скрывается что-то другое. В итоге коллеги из смежного отдела пришли к нам за помощью в организации исследования.
Вместе мы разработали анкету для контактного центра и связались с клиентами, которые поставили противоречивые оценки. Затем со своей стороны структурировали результаты и передали коллегам для принятия решения.
09 А как у вас разделяются продуктовые и маркетинговые исследования? Знаем, что это болевая точка во многих командах
Мы решили так: не учить заказчиков, к кому ходить, а научиться самим жить в синхроне. Если в маркетинг приходит продуктовая задача, они сразу передают её нам, и наоборот. Эта схема действует и с командой, которая занимается офлайном.
Иногда бывают задачи на стыке. Тогда мы можем провести установочную встречу с заказчиком и после принять решение, в чьей зоне ответственности будет находиться задача. В одном из последних кейсов мы вообще определили, что запрос надо отправить в аналитику :)
Как я люблю говорить, всё решается диалогом. Главный и простой секрет успеха — собраться, обсудить, вместе принять решение.
Настин подход совпадает с одним из выводов, к которому мы пришли во время круглого стола UXR vs MR с ребятами из ОТП Банка, Яндекс.Лавки, Звука и ETG. Все выводы и совместные рекомендации спикеров можно почитать тут.
10 И напоследок: какой ваш главный принцип в работе? Откуда он возник?
«Не дать команде смотреть в микроскоп, когда надо видеть всю комнату»
Иногда продуктовая команда просит протестировать конкретный элемент — например, карточку товара, где сделали 2 новых раздела с разной стоимостью: ценой при доставке и ценой в офлайн-магазине. Наша задача — выяснить, считывают ли пользователи эту разницу.
Но в реальной жизни человек никогда не смотрит на один элемент в вакууме — поэтому нужно оценивать весь пользовательский путь целиком. Например, в офлайн-точках цена может отличаться. Так, пользователи понимали это в карточке товара, но стоило копнуть чуть дальше и задать один уточняющий вопрос — и они уже полностью терялись. Это могло привести к тому, что на этапе корзины покупатель бы не понял, почему итоговая стоимость изменилась.