Итак, ответим на частый вопрос: «Как вы проверяете фичу»? Ответ: «Головой». К сожалению мне не известен универсальный алгоритм для проверки эффективности фичи. Все фичи разные, и анализировать их надо по-разному.
Технически я проверяю фичи через GA ивенты. На этапе прототипа, пишу задание разработчикам. В GA есть вложенные сущности: категории, экшны, лэйблы, вэлью. Если все действия в продукте обвешать правильно написанными ивентами, анализировать поведение пользователя будет легко.
К примеру, вот GA ивент при отправке поискового запроса (в фигурных скобках — переменные):
GA-Category: {report_name}:search
GA-Action: load:send-search-query
GA-Label: search-type: by-auto-suggestion; search-query:{search_query_text}
GA-Category: {report_name}:search
GA-Action: load:send-search-query
GA-Label: search-type: by-auto-suggestion; search-query:{search_query_text}
Такими GA ивентами мы обвешиваем все элементы интерфейса и все действия пользователя. Задание пишу я сам, потому что у меня нет выделенного «личного» аналитика, который бы знал, как именно работает продукт. Одно время писал UX, но ему было тяжеловато делать это правильно.
Когда фичу выкатили, я жду, пока накопятся ивенты. Потом иду в BigQuery, где у нас хранятся все данные, и делают SQL запрос, который мне нужен. Я очень плохо знаю SQL, но если ивенты отправляются правильно, то даже минимальных знаний достаточно.
Выше я приводил пример GA ивента для поиска. Я могу сгруппировать данные по Action и вывести список Label. И увижу, что именно ищут пользователи. С группировкой категория/экшн/лэйбл можно играться бесконечно и получать ответы на вопросы про любое действие пользователя.
В принципе, можно обойтись вообще без знания SQL. Статистику ивентов можно смотреть в интерфейсе Google Analytics. Главное правильно расставить эти ивенты. Иначе вложенность будет вас только запутывать, а не помогать.
Для меня анализ фичи — творческий процесс. Я делаю запросы, смотрю на статистику с разных сторон и делаю выводы. Эти выводы вместе с цифрами и SQL-запросами я сохраняю в текстовый документ в понятном для посторонних людей виде. Можно показать команде и всем желающим.
Текстовый документ с аналитикой по фичам я веду много лет. Он довольно большой :-) Зато когда меня спрашивают о фиче, которую мы запустили 3 года назад, я могу прислать готовые к чтению выводы и ссылки на исходные данные и SQL-запросы.
Наверное, я никому не помог в вопросе «Как проверить фичу». Возможно читатели знают более универсальные и менее творческие способы проверки. Поделитесь, пожалуйста!
Keep calm and do query.
• • •
Missing some Tweet in this thread? You can try to
force a refresh
