Перейти к основному содержимому

Аналитика и результат

Как встроить в продукт измерения, чтобы понимать, сработала ли функция, и как читать результат, не обманывая себя.

Почему это важно. Без измерений то, что делать дальше, решает самое громкое мнение. При плохих измерениях решает число — и это хуже, потому что число выглядит объективным. Аналитику обычно внедряют разработчики, а значит именно они — последняя линия обороны против того, чтобы измерять не то.

Что нужно понимать​

  • На какой вопрос отвечает это измерение — решено до того, как его добавили
  • Что изменится в зависимости от ответа
  • Значит ли число то, чем оно кажется
  • Чего в данных не видно
  • Что вы собираете о людях и стоит ли это вообще собирать

Основные темы​

События​

  • Именование и структура согласованы до внедрения, а не после
  • Параметры, благодаря которым по событию потом можно будет получить ответ
  • Размечать весь путь, а не только успешное завершение
  • Версионирование и честное сравнение между релизами
  • Проверка того, что события действительно доходят

Метрики​

  • Воронки, удержание и когорты — три вещи, которые обычно и важны
  • Среднее прячет всё, перцентили показывают
  • Метрики тщеславия: растут и ничего не значат
  • Контрметрики: чтобы улучшение одного тихо не ломало другое
  • Опережающие и запаздывающие показатели

Интерпретация​

  • Корреляция, причинность и разница, которую вносит релиз
  • Ошибка выжившего: тех, кто ушёл, в ваших данных нет
  • Сезонность и обычный разброс
  • Размер выборки и честные пределы того, что можно сказать о маленькой аудитории
  • Решить заранее, что опровергнет вашу гипотезу, — до того, как смотреть в данные

Эксперименты​

  • A/B-тесты и условия, при которых их результат вообще что-то значит
  • Метрика и длительность зафиксированы заранее
  • Подглядывание в промежуточные результаты и почему оно обесценивает итог
  • Когда эксперимент не стоит связанных с ним сложностей

Ответственность​

  • Собирать минимум, которого хватает для ответа на вопрос
  • Согласие — и уважение к отказу
  • Анонимизация, которая выдерживает сопоставление с другими данными
  • Заявления о приватности, совпадающие с реальностью

Уровни​

УровеньКак это выглядит
JuniorДобавляет события, которые просят добавить, и проверяет, что они отправляются.
MiddleПроектирует схемы событий так, чтобы по ним потом можно было отвечать на вопросы, строит воронки, отличает метрики тщеславия от полезных.
SeniorОпределяет, что считать успехом, ещё до того, как функция сделана, проектирует корректные эксперименты и возражает против измерений, которые вводят в заблуждение.

Практика​

Для начала​

  • Разметьте воронку Возьмите многошаговый сценарий и измерьте отвал на каждом шаге. Найдите худший.

  • Проверьте события Убедитесь, что уже существующие события действительно доходят и несут то, что вы думаете.

  • Замените среднее Возьмите метрику, которую показывают как среднее, и посмотрите вместо этого на её перцентили.

Дальше​

  • Сначала определите успех Прежде чем делать следующую функцию, напишите метрику и порог, при котором она сработала.

  • Проведите один эксперимент по правилам Зафиксируйте метрику и длительность заранее, не подглядывайте и примите решение по результату.

  • Найдите то, чего вы не видите Сформулируйте вопрос, на который ваша нынешняя аналитика ответить не может, и решите, нужно ли это исправлять.

Проверьте себя​

  • Какой из функций, выпущенных за прошлый год, действительно пользуются?
  • Что должно произойти, чтобы вы признали функцию неудачной?
  • Какая из ваших метрик может вырасти, пока продукт становится хуже?
  • Что вы собираете и ни разу не смотрели?
  • Кого в ваших данных нет и что из-за этого остаётся невидимым?
  • Соответствует ли ваша политика приватности тому, что приложение на самом деле отправляет?

Материалы​

  • Trustworthy Online Controlled Experiments — Kohavi, Tang и Xu, по опыту экспериментов в Microsoft, Amazon и Google. Основной источник о том, что делает A/B-тест корректным.
  • Google Analytics for Firebase: events — практическое моделирование событий для мобильных приложений, включая именование и структуру параметров, от которых зависит, какие вопросы вы сможете задать потом.
  • Lean Analytics — о том, как выбрать единственную метрику, которая важна на текущем этапе, и почему отслеживать всё — способ не измерить ничего.
  • How to Lie with Statistics — короткая, старая и лучшая прививка от убедительно выглядящего графика.
  • GDPR guidance from the ICO — объяснения на человеческом языке про согласие, минимизацию и сроки хранения: именно они ограничивают, что вам вообще позволено собирать.