О чём этот материал

Команда Самолет создала систему регулярного мониторинга UX через индексы. Теперь каждые полгода компания за 2 недели получает данные: в каких сценариях их сайт с подбором квартир и механизм онлайн-сделки сильнее конкурентов, где отстают, и что улучшать в первую очередь. Рассказываем, почему вы точно захотите забрать этот подход в свою практику.

Кейсом делится Егор Стрельцов, Senior UX Researcher в Самолет

Главная идея: один инструмент решает три задачи

Сочетание юзабилити-индекса SUM и немодерируемых тестов в Pathway позволяет:

1. Оценивать апдейты количественно — понимать, стал ли новый интерфейс удобнее предыдущего

2. Сравнивать свой продукт с конкурентами — видеть сильные и слабые стороны в конкретных сценариях

3. Приоритизировать задачи — фокусироваться на сценариях с наибольшими проблемами

Всё это — за 2 недели вместо месяцев ручной работы.

Контекст: почему стандартные методы не работали

Самолет — крупнейшая девелоперская компания в России. В последние годы мы активно изучаем и развиваем диджитал-сервисы, а их изучением и анализом занимается моя исследовательская команда из двух человек. Наш основной фокус — это два флагманских проекта:

• Сайт с подбором квартир samolet.ru

• Механизм онлайн-сделки, который помогает купить квартиру без посещения офиса продаж

Наша особенность: мы выпускаем крупные апдейты, которые существенно меняют пользовательский опыт. Это не замена одной кнопки, а комплексная переработка целых сценариев.

Мы решаем непростую задачу — мы должны не просто найти критические ошибки нового интерфейса, но и предоставить объективную оценку апдейту

Проблема классических методов

Качественные UX-тесты помогают найти критические ошибки и генерировать идеи, но не отвечают на главный вопрос: стал ли новый интерфейс объективно удобнее предыдущего?

NPS и CSAT оценивают продукт целиком, но не фокусируются на конкретных дизайн-решениях и элементах интерфейса.

Решение, которое мы придумали: UX-индексы для оценки конкретных сценариев + немодерируемое тестирование для масштаба.

Инструмент: почему мы выбрали индекс SUM

SUM (Single Usability Metric) — это юзабилити-индекс, который помогает нам оценить конкретный сценарий внутри продукта и проанализировать метрики удобства через 4 показателя:

Объективные данные:

• Время выполнения задачи

• Успешность выполнения

Субъективные данные:

• Оценка пользователем затраченного времени

• Оценка пользователем сложности задачи
  
  

Ключевое преимущество: индекс учитывает то, что пользователь думает о процессе: сколько, по его мнению, времени заняла задача и насколько успешно он справился. Суммируя все перечисленное через формулу, мы получаем показатель в виде значения, которое учитывает как то, что респондент думает, так и то, что он делает внутри интерфейса.

В качественных исследованиях (5-10 человек) тоже можно рассчитать SUM. Но тут вы столкнётесь с трудностями:

• Придётся вручную держать секундомер, одновременно следя за работой пользователя

• Сложно фиксировать момент завершения задачи и разбираться с неоднозначными результатами

• Выборка будет слишком мала для репрезентативности

Поэтому нужны немодерируемые тесты с большой выборкой.

Юзкейс 1: Как оценить апдейт интерфейса

Задача

Дизайнеры переработали карточку квартиры на странице подбора. Нужно понять: стала ли новая версия удобнее для поиска нужных параметров?

Как мы это сделали: пошаговый план

Шаг 1. Подготовка теста

• Создали прототип новой карточки в Figma

• Разработали задания: найти квартиры с конкретными параметрами в поисковой выдаче

• Оформили тест в Pathway с прототипом и шкалами для субъективной оценки

Шаг 2. Сбор данных

• Настроили целевую аудиторию

• Собрали 200+ ответов

• Pathway автоматически зафиксировал время и успешность выполнения задач

Шаг 3. Расчёт индекса

• Выгрузили данные в Excel

• Использовали калькулятор SUM от Сергея Розума

Результат

Получили значение индекса N для карточки квартиры. Теперь это:

• Benchmark для будущих апдейтов — сравниваем новые версии с текущим показателем

• Точка сравнения с конкурентами — измеряем их карточки тем же способом

• Метрика для оценки прогресса — видим, растёт ли удобство со временем

Чеклист 1: для оценки апдейта интерфейса
 
1. Создайте прототип в Figma с новой версией интерфейса
2. Разработайте 3-5 типовых задач для тестируемого сценария
3. Соберите тест в Pathway:
→ Добавьте прототип
→ Добавьте шкалы для субъективной оценки времени и сложности
4. Настройте целевую аудиторию (ЦА вашего продукта)
5. Соберите минимум 100-200 ответов
6. Выгрузите данные и рассчитайте SUM
7. Сравните с предыдущей версией или сохраните как benchmark

Юзкейс 2: Как сравнить продукт с конкурентами

Задача

Понять, в каких сценариях сайт Самолета удобнее конкурентов, а где отстаёт. Получить объективные данные для приоритизации задач.

Как мы это сделали: пошаговый план

Шаг 1. Структура исследования

• Периодичность: каждые полгода

• Формат: сплит-тест на 4 компании (Самолет + 3 основных конкурента)

• Сценарии: ключевые этапы пути клиента к покупке квартиры

Шаг 2. Создание теста в Pathway

Использовали функцию Live website — критическое преимущество:

• Тестируем реальные сайты конкурентов, а не прототипы

• Не нужно просить дизайнеров отрисовывать чужие интерфейсы

• Пользователи взаимодействуют с актуальными версиями продуктов

Шаг 3. Одинаковые задания для всех

Пример задания для сценария «Поиск ЖК»: «Найдите жилой комплекс на Северо-Западе Москвы в 15 минутах от метро»

Каждая группа респондентов выполняет идентичное задание на своём сайте.

Шаг 4. Сбор и анализ

• Собираем 200+ ответов по каждому застройщику

• Рассчитываем индекс SUM для каждого сценария на каждом сайте

• Получаем сравнительную таблицу показателей

Результат

Наглядная картина по сценариям:

• Где Самолет сильнее — можем использовать как конкурентное преимущество

• Где отстаём — видим масштаб проблемы в цифрах

• Что улучшать первым — приоритизируем на основе разрыва с конкурентами

Время исследования: 2 недели вместо месяцев.

Бизнес заинтересован в объективной оценке результатов работы дизайн-команды, а также в понимании масштаба проблем интерфейса. Эта методика сравнения закрывает обе эти боли.

Чеклист 2: для сравнения продукта с конкурентами

1. Выберите 2-4 основных конкурента
2. Определите 5-7 ключевых сценариев пользовательского пути
3. Создайте сплит-тест в Pathway:
→ Используйте блок Live website для реальных сайтов
→ Сформулируйте одинаковые задания для всех групп
4. Распределите респондентов равномерно между группами
5. Соберите 100-200 ответов на каждую группу
6. Рассчитайте SUM для каждого сценария на каждом сайте
7. Постройте сравнительную таблицу
8. Определите приоритеты на основе наибольших разрывов

Главная опасность — забыть про качественные методы

Индексы показывают масштаб проблемы, но не объясняют причины.

В исследовательском сообществе есть противостояние «количественные методы против качественных», но это незрелый подход. Количественный метод показывает масштаб и общую картину, но не дает понимания деталей, и здесь зачастую и наступает момент для использования качественного инструментария.

Пример из нашей практики:

Шаг 1 (количественный): Провели аудит, сравнили индексы. Выяснили, что в сценарии «Поиск ЖК» мы слабее конкурента А.

Шаг 2 (качественный): Провели классические UX-тесты с 8 пользователями. Узнали, что проблема в расположении фильтра по удалённости от метро — пользователи его не замечают. И, разобравшись, что именно не так, разработали «План коррекции»

Результат: Получили не только цифры, но и план действий.

Самая главная ловушка — обращать внимание на одни лишь цифры и перестать слушать пользователя напрямую. Развитие любого продукта должно происходить в методологической гармонии.

Что можно забрать в работу прямо сейчас

• Начните с оценки одного ключевого сценария вашего продукта

• Рассчитайте SUM — это станет вашим benchmark для будущих улучшений

• Выберите главного конкурента и сравните один сценарий между продуктами

• Постройте регулярный процесс мониторинга раз в квартал или полгода

Вместо вывода: пара тёплых слов для исследователей

Друзья и коллеги, я надеюсь, что в этом материале мне удалось поделиться с вами ценными инструментами, и вы смогли забрать для себя что-то новое и важное. Развивая наши продукты и помогая бизнесу, мы не должны забывать: путь исследователя состоит в непрерывном развитии себя самого.

——

Попробовать Pathway, чтобы быстрее проверять не только продуктовые, но и маркетинговые решения и проводить любые юзабилити-тесты и исследования — можно бесплатно: вы получите доступ ко всем функциям платформы, включая возможность создать 3 теста и собрать до 250 ответов в месяц.

А ещё больше полезных материалов с крутыми экспертами и неожиданных юзкейсов вы найдёте в нашем телеграм-канале. Там мы делимся не только продуктовыми апдейтами, но спецпроектами с разными командами из России и глобала, и тем, что нас действительно вдохновляет.