Кодировка открытых ответов, сводка по десяткам вариантов, выбор статистического критерия, сборка отчёта. На аналитическую и отчётную работу обычно уходят недели. Её в первую очередь мы и хотели ускорить, когда запускали Pathway-агента.
Мы спросили исследователей, как он прижился в их работе: для каких задач они его используют, где он экономит время и какие возможности открывает. Получился большой гайд с юзкейсами.
01 Проверить выполнение заданий в тесте первого клика
«Когда мы впервые увидели помощника, сидели с коллегами в офисе. То ли я увидела анонс, то ли просто обнаружила эту кнопку. Говорю коллеге: „Прикинь, чего сделали — Pathway-агента!“ Мы, конечно, отнеслись скептически. Сразу пошли проверять его на тесте с первым кликом: он сам определил, в какую точку реально надо было нажать по заданию, и собрал сводку по количеству людей, которые нажали, куда надо. По сути, агент сам выполнил пользовательский сценарий по картинке. Мы были в шоке».
Продуктовый исследователь в B2C-сервисе (сохраняем анонимность фидбэка по просьбе команды)
«Недавно узнала приятную вещь: агент умеет определять, какой вариант ответа верный. У меня на экране несколько вариантов, где разные значения обозначают разные цены, и нужно понять, ясно ли пользователю, какая цена относится к какому продукту. Агент анализирует загруженный экран и по нему определяет верный ответ, хотя расшифровку „что верно, что нет“ я ему не давала».
Лиза Фомичева, UX-исследователь в Ozon-Банке
02 Свести результаты сплит-групп
«Моя главная боль — обработка исследований со сплит-группами и сплит-блоками, где очень много схожих вопросов по разным вариантам реализации. Например, у меня была задача определить, какой триггер добавить в интерфейсе. Критерии были разные: заметность, ясность, интерес пользователя — всего 8 вариантов. Раньше пришлось бы выгружать бесконечные эксельки, а ведь не всегда столбцы сводятся один к одному, нужно всё отдельно агрегировать. Мы даже запрашивали доступ к API, хотели решить проблему сведения данных скриптами. Но, к счастью, Pathway нас опередил. Теперь агент агрегирует результаты одинаковых вопросов в одну сводную табличку, которую можно буквально скопировать и вставить сразу в отчёт. Не представляю, сколько бы времени у меня заняло делать всё руками. Наверное, часов 5–6».
Продуктовый исследователь в B2C-сервисе
03 Закодировать открытые ответы и собрать по ним сводку: темы, частотность, цитаты
«Довольно сложно кодировать ответы, которые связаны с пониманием интерфейса. Например, мы спрашиваем: „Как вы думаете, что произойдёт, если нажать на эту кнопку?“ или „Для чего предназначена эта кнопка?“ В таких случаях респонденты часто отвечают довольно узко, и вычленить семантику из ответа сложно — нейронки редко справляются с этой задачей. А бывают вопросы на более понятные темы: „Какие преимущества могли бы вас мотивировать воспользоваться таким-то сервисом?“ Тут пользователь сам называет сущности, понятные и мне, и пользователю, и, вероятно, нейронке (скорость доставки, нужность и т. д.). Я решила попросить агента закодировать такие ответы. Открытых вопросов было довольно много, они были широкие, распространённые, но помощник хорошо справился вычленить семантику. Думаю, пару часиков он сэкономил».
Продуктовый исследователь в B2C-сервисе
«Агент действительно разбивает цитаты по категориям, пишет количество респондентов и подсвечивает ключевые цитаты. Также я просила его посчитать количество цитат по определённой теме и вывести их, с чем он тоже хорошо справился. А их было очень много — боюсь представить, сколько времени я бы делала это сама. Ожидания агент точно оправдал, с отчётом справился хорошо: и время моё сэкономил, и красоту в графиках навёл — вывел самую ключевую информацию, которую я дальше дополняла».
Мария Егорова, UX-исследователь в МТС-Банке
04 Формулировать запросы простыми словами и получать результаты на языке исследователей
«Как довольно непрошаренный пользователь нейронок, я люблю общаться с ними „по-тупому“, типа „сделай хорошо“, „переделай“. Я из этих людей, и мне понравилось, что даже с такими инструкциями я довольно быстро получила понятный мне формат таблицы по кодировке ответов. Пишу типа: „собери данные с вопроса в таблицу со сравнением по группам“. Иногда я сама не понимаю, что написала, а он понял 😄 Спасибо ему за это большое».
Продуктовый исследователь в B2C-сервисе
«Круто, что Pathway-агент говорит на языке исследователей и статистики. Не нужно промптить дополнительно или менять термины. Я не супер доверяю разным доп-фичам, редко когда апгрейд или редизайн сразу вызывают симпатию, потому что надо заново привыкать. А тут всё было понятно, плюс круто, что сразу есть подсказки — не во всех агентах они бывают к месту».
Аделина Ахмедова, исследовательница в Т—Ж (медиа Т-Банка)
«Мы активно пользуемся ИИ, поэтому ожидания были высокие. Но GPT и DeepSeek вообще рядом не стояли. У Pathway-агента прямо получаются хорошие смысловые коды, плюс можно попросить его подобрать цитаты. Он выдаёт достаточно точные хорошие таблички и кодировку, которую почти не надо править. Вручную всё это занимает, наверное, пару дней, а с агентом — буквально 5 минут».
Екатерина Чуракова, продуктовый исследователь в АТБ
05 Подобрать статистический критерий и посчитать значимость
Pathway-агент облегчает задачу с выбором наиболее подходящих статистических критериев.
«Ещё одна штука — сравнение групп, например в монадике. Я не могу назвать себя крутым экспертным исследователем опросов, мне бывает сложно понять, какой статистический критерий нужно использовать, чтобы сравнить две группы или больше. Раньше мне каждый раз приходилось обращаться к ChatGPT, чтобы понять, использую я здесь Стьюдента или Манна — Уитни. И даже если уверена, всё равно консультировалась. Здесь очень помогает, что помощник самостоятельно выбирает критерий сравнения данных. Мне больше не приходится ходить в ChatGPT и прочие нейронки, чтобы сначала это выяснить, потом посчитать, потом ещё и высчитывать критериальную разницу где-нибудь в Python или Excel. Супер, что всё происходит в рамках самого агента».
Продуктовый исследователь в B2C-сервисе
«Для ответов по номинальной шкале он считает хи-квадрат, для сравнения средних в 2 группах проводит t-тест. Перед выбором метода проверяет тип шкалы и распределение: при сильной асимметрии или порядковой шкале переходит на непараметрические критерии, а при распределении, близком к нормальному, оставляет параметрические. Иногда добавляет проверки, которые я бы не запустила, и сразу объясняет ограничения каждого метода. Раньше на такой анализ у меня уходило несколько часов: я открывала SPSS или писала код на Python, строила кросс-таблицы, считала хи-квадрат. Первые несколько исследований я пересчитывала результаты агента в Python, и результаты совпадали. Сейчас я доверяю ему больше и выборочно сверяю ключевые результаты».
Лиза Фомичева, UX-исследователь в Ozon-Банке
06 Построить кросс-таблицы
«Кросс-таблицы — это вообще огромное спасение. Раньше, чтобы что-то быстро проанализировать, приходилось смотреть весь свод данных целиком, гонять фильтры не выгружая, что-то скриншотить — в эксэльке всё не перечитаешь. А сейчас просто задал вопрос: „после соцдема посмотри, есть ли значимые различия среди всех оценок“. Агент сравнит, чем отличаются выборки, где могут быть искажения или можно ли вообще сравнивать, например, вот эти вот сплиты. Это ускорило работу в 10 раз. Причём соцдем он подтягивает автоматом. Достаточно задать параметр, и он выдаёт те группы, которые у меня были изначально, прямо в отчёте. Ему можно даже не говорить, какой именно вопрос был про пол, а какой про возраст: просто „сравни по всем демографическим характеристикам, которые у меня зашиты“ — и он сам вычисляет, какие это были вопросы. Кросс-таблицы — муторная работа, часто хочется, чтобы кто-то сделал её за нас. И вот сейчас это появилось!»
Лиза Дьячук, аналитик-исследователь Mail (VK)
07 Проверить, устойчив ли вывод для разных сегментов
«Базу для анализа мы определяем заранее, а агент помогает проверить, насколько вывод устойчив для разных сегментов. Сейчас я тестирую экраны нового продукта, и в анкете есть вопрос о том, был ли у респондента опыт его использования. По всей базе между вариантами есть значимые различия. Я прошу агента проверить, сохранятся ли они среди респондентов без опыта и с опытом. Если доли значимо различаются, разница в ответах может объясняться составом выборки, и тогда он считает результаты по сегментам отдельно».
Лиза Фомичева, UX-исследователь в Ozon-Банке
08 Помочь продукту и дизайнерам разобраться в результатах без исследователя
«Мне кажется, что благодаря агенту дизайнерам и продукту проще работать с результатами тестов: могут сами открыть отчёт, посмотреть значимость, какие различия значимы, попросить агента объяснить, как читать результат. Агент опирается на статистические методы и указывает на их ограничения».
Лиза Фомичева, UX-исследователь в Ozon-Банке
09 Собрать отчёт с графиками в корпоративном стиле
«Всё быстро меняется: отчёты требуются уже в течение трёх дней после завершения исследования. Поэтому важная для нас фича — генерация агентом отчётов. Было опасение, что агент будет брать какие-то сторонние данные, но нет — он идёт строго по исследованию и ничего не придумывает. Чтобы не тратить генерации, я обычно делаю один отчёт в HTML-формате, а потом правлю текстовые формулировки прямо в коде».
Анна Баркалова, руководитель проектов по маркетинговым исследованиям в АО «Просвещение»
«Мы пока не внедрили отчёты от Pathway агента, но идея его использования привлекает. Агент сам предлагает графики к результатам анализа и выбирает тип под данные. Графики интерактивные, при наведении можно посмотреть значения. Готовый отчёт я выгружаю в HTML. Правки в описании и выводах вношу сама, а структуру и интерпретации дорабатываю с агентом за несколько итераций. Для оформления можно загрузить референсы и корпоративную палитру, и агент соберёт отчёт в том же стиле».
Лиза Фомичева, UX-исследователь в Ozon-Банке
10 Провести многосоставный анализ за 2 часа перед дедлайном
«Недавно у нас был комплексный кейс. Мы тестировали сразу 3 варианта коммуникации, и в каждый зашили и веб, и мобилу. Получается достаточно большое полотно: маркетинговые атрибуты и несколько открытых вопросов — про последствия, про то, как люди воспринимают текст. Времени на анализ было супер мало: я уходила в отпуск, всё надо было сделать до пятницы, а данные собрались только в пятницу утром. Оставалось полдня на анализ и полдня на обсуждение с командой. Сама я бы так быстро не осилила всё это проанализировать. Я шла по шагам: попросила собрать отчёт сразу по всем трём вариантам; построила кросс-таблицы по маркетинговым атрибутам и по соцдему; отдельно разобрала открытые ответы: по каждому вопросу — график самой частой темы, раскрытие тем и цитаты; соединила канву отчёта и открытые ответы воедино; попросила описать выборку по каждому варианту, и агент ещё сам сравнил, чем выборки отличаются и можно ли их сравнивать. Суммарно это заняло, наверное, часа 2, при этом у меня параллельно была другая задача. За это время я смогла всё проанализировать, перемесить в удобный для команды формат и передать. Решение приняли сразу: по маркетинговым атрибам получилась статистически значимая разница, и было понятно, какой вариант выбрать, чтобы вероятность установок продукта была выше. А редактор потом прошёлся по открытым ответам про мотивацию и по ним ещё раз отточил заголовок».
Лиза Дьячук, аналитик-исследователь Mail (VK)
11 Освободить время на работу с инсайтами
«Помимо обработки результатов, мы [исследователи] занимаемся ещё кучей вещей, и хочется уходить от рутины, а больше фокусироваться на умении доносить инсайты и переходить к внедрению. И точно не тратить 5 часов на обработку того, что на самом деле можно сделать за 5 минут через агента и одну кнопку».
Лиза Дьячук, аналитик-исследователь Mail (VK)
———
Pathway-агент работает на Enterprise-плане: если ваша команда тоже хочет его потестировать — просто напишите нам в поддержку 🙌
Если вы уже пользуетесь агентом, будем рады вашей обратной связи: как он вам помогает и чему ещё его стоит обучить.
И подписывайтесь на наш телеграм-канал! Там много экспертизы от разных команд и регулярные апдейты о новых возможностях в Pathway.