На любом совещании о редизайне или правках страницы звучат взаимоисключающие мнения. Директору нравится синяя кнопка, дизайнеру зелёная, маркетолог считает, что нужна красная и покрупнее. Каждый уверен в своей правоте и ссылается на опыт, вкус или чужие сайты. Спор можно вести бесконечно, а можно просто проверить: показать часть посетителей один вариант, другую часть другой и сравнить результаты.

Именно в этом суть A/B-тестирования. Это контролируемый эксперимент, в котором аудитория случайным образом делится на группы, каждая видит свою версию страницы, а затем сравниваются значения выбранной метрики. Метод кажется простым, но требует дисциплины. Неверно поставленный тест хуже его отсутствия, потому что он создаёт иллюзию доказательств там, где их нет.

В этом руководстве разберём, когда A/B-тест действительно нужен, как сформулировать гипотезу, посчитать выборку, провести эксперимент и сделать корректные выводы.

Что такое A/B-тест и как он устроен

В классическом тесте есть контрольная версия (A) и тестовая (B), которая отличается одним изменением. Посетители распределяются случайно и в равных долях. Сравнивается целевая метрика: конверсия, доля кликов, средний чек и другие. Если разница статистически значима, то есть вряд ли получена случайно, версия-победитель выкатывается для всех.

Разновидности экспериментов

  • A/B-тест. Две версии, один изменяемый элемент или набор изменений.
  • A/B/n-тест. Несколько вариантов одновременно. Требует больше трафика.
  • Мультивариантный тест. Проверка комбинаций нескольких элементов. Подходит только для сайтов с очень большим трафиком.
  • Сплит-тест страниц. Сравнение двух принципиально разных страниц на разных адресах.
  • A/A-тест. Две одинаковые версии. Нужен для проверки, что инструмент и разделение трафика работают корректно.

Когда A/B-тест нужен, а когда нет

Тестирование — не универсальное средство. Оно требует трафика, времени и аккуратности, поэтому подходит не всегда.

Тест оправдан, если

  • на странице достаточно посетителей и целевых действий, чтобы получить результат за разумный срок;
  • есть чёткая метрика, измеряемая без искажений;
  • есть конкурирующие гипотезы, и вы не знаете, какая сработает;
  • изменение затрагивает ключевую страницу или шаг воронки;
  • цена ошибки значительна, например при переработке оформления заказа.

Тест не нужен, если

  • на сайте несколько десятков визитов в день: результат придётся ждать месяцами;
  • проблема очевидна: форма не отправляется, страница не открывается на смартфоне. Это нужно просто исправить;
  • изменение небольшое и безопасное, а проверка стоит дороже возможного эффекта;
  • вы не готовы дождаться окончания и сделать выводы.

Для небольших сайтов с малым трафиком лучше использовать другие способы обратной связи: записи сессий, опросы, интервью, юзабилити-проверки. Подходы описаны в статье о юзабилити-тестировании своими силами.

Шаг 1. Найдите проблему, а не идею

Самая частая ошибка начинающих — начинать с идеи вроде «давайте поменяем цвет кнопки». Правильно — начинать с проблемы, подтверждённой данными.

  • Воронка показывает, что на шаге оформления теряется большая часть корзин.
  • Записи сессий демонстрируют, что люди не замечают кнопку заказа.
  • Опросы показывают, что клиентам неясны условия доставки.
  • Карты кликов говорят о том, что посетители нажимают на неактивные элементы.

Источники данных мы рассматривали в статье про веб-аналитику, а общие принципы поиска узких мест — в материале о конверсии сайта.

Шаг 2. Сформулируйте гипотезу

Гипотеза — это проверяемое предположение с обоснованием и ожидаемым эффектом. Хорошая формула: «Если мы сделаем [изменение], то [метрика] изменится на [направление], потому что [причина]».

Примеры:

  • «Если мы заменим заголовок на более конкретный, доля кликов по главной кнопке вырастет, потому что посетители быстрее поймут выгоду».
  • «Если мы уберём обязательную регистрацию перед оформлением, число завершённых заказов вырастет, потому что снизится барьер для новых покупателей».
  • «Если мы добавим отзывы над формой, конверсия страницы вырастет, потому что снизится недоверие».

Фиксируйте причину: она помогает извлекать знания даже из проигравших тестов. Если гипотеза не подтвердилась, вы узнаёте, что ваше предположение о поведении аудитории неверно.

Как выбирать из нескольких гипотез

Оцените каждую по трём критериям: потенциальный эффект, уверенность в гипотезе и сложность реализации. Выбирайте те, что дают больше влияния при меньших затратах. Одновременно учитывайте, сколько трафика проходит через страницу: изменение на малопосещаемой странице даст мало денег, даже если сработает.

Шаг 3. Выберите метрики

У каждого теста должна быть одна основная метрика, по которой принимается решение. Остальные — вспомогательные и контрольные.

  • Основная. Напрямую связана с гипотезой: клик по кнопке, отправка формы, завершённый заказ.
  • Вспомогательные. Помогают понять механизм: глубина прокрутки, время до клика, шаги воронки.
  • Защитные. Проверяют, что улучшение одного показателя не ухудшило другой: средний чек, доля возвратов, скорость загрузки, качество заявок.

Старайтесь выбирать метрику, максимально приближенную к деньгам. Рост кликов по кнопке не всегда превращается в рост заказов. Если можно измерить конечный результат, измеряйте его.

Совет студии. Определите критерий успеха до запуска: какая разница вам нужна, чтобы выкатывать изменение, и сколько времени вы готовы ждать. Решения, принятые постфактум, почти всегда подгоняются под желаемый результат.

Шаг 4. Рассчитайте выборку и длительность

Самое серьёзное заблуждение: «запущу тест на пару дней и посмотрю, кто победил». На малой выборке разница между вариантами часто объясняется случайностью. Чтобы выводам можно было доверять, нужно набрать достаточный объём данных.

От чего зависит нужная выборка

  • Исходная конверсия. Чем она ниже, тем больше посетителей нужно.
  • Минимальный ожидаемый эффект. Чем меньше разницу вы хотите обнаружить, тем больше нужна выборка. Заметить рост в десять раз проще, чем рост на пять процентов.
  • Уровень значимости и мощность. Обычно принимают значимость 95 процентов и мощность 80 процентов. Это значит, что вероятность ложного вывода о победе невелика, а настоящие различия обнаруживаются в большинстве случаев.

Для расчётов используйте онлайн-калькуляторы выборки: вводите исходную конверсию и желаемую разницу, а на выходе получаете необходимое число посетителей на вариант. Затем разделите это число на суточный трафик страницы, и получите ориентировочную длительность.

Правила длительности

  1. Тест должен охватывать как минимум одну полную неделю, а лучше две-три, чтобы учесть различия поведения в будни и выходные.
  2. Не останавливайте тест раньше срока из-за обнадёживающих цифр. Это называется «подглядыванием» и приводит к ложным победам.
  3. Не затягивайте до бесконечности: если после расчётного объёма разницы нет, значит, она мала или отсутствует.
  4. Избегайте периодов нестандартных событий: распродаж, рекламных всплесков, праздников.

Шаг 5. Подготовьте варианты

Тестируемое изменение должно быть заметным и осмысленным. Мелкие изменения вроде оттенка серого редко дают разницу, которую удастся обнаружить. Больше шансов у тех правок, которые меняют смысл или поведение.

Что можно тестировать

  • Заголовки и подзаголовки. Формулировка выгоды, длина, акценты.
  • Призывы к действию. Текст, цвет, размер, расположение, количество. См. статью про кнопки.
  • Формы. Количество полей, порядок, подсказки, шаги. См. материал про формы.
  • Структура страницы. Порядок блоков, наличие или отсутствие разделов, длина страницы.
  • Изображения и видео. Реальные фото против иллюстраций, наличие демонстрации продукта.
  • Цены и предложения. Формат показа, акции, пакеты, гарантии.
  • Элементы доверия. Отзывы, сертификаты, логотипы клиентов.
  • Оформление заказа. Число шагов, способы оплаты, порядок информации.

Принцип одного изменения

Если вы изменили заголовок, картинку и кнопку одновременно и получили рост, вы не узнаете, какое изменение сработало. Для обучения лучше менять одну переменную. Для скорости допустимо тестировать целостные варианты страницы, но тогда вывод касается всего набора, а не отдельных элементов.

Шаг 6. Запуск и контроль

Перед началом проверьте всё как у настоящего релиза.

  1. Убедитесь, что оба варианта корректно отображаются во всех основных браузерах и на смартфонах.
  2. Проверьте, что цели и события работают в обеих версиях.
  3. Убедитесь, что распределение трафика случайное и пропорции соблюдаются.
  4. Исключите ботов и внутренний трафик.
  5. Следите за мерцанием: если вариант B загружается с заметной задержкой или вспышкой старой версии, результат будет искажён.
  6. Один посетитель должен видеть одну и ту же версию при повторных заходах.

Не вносите в тестируемые страницы другие изменения во время эксперимента и не запускайте на одной аудитории несколько пересекающихся тестов, если не понимаете, как они влияют друг на друга. Если вы одновременно меняете рекламу, нарушается чистота эксперимента.

Шаг 7. Анализ результатов

По завершении теста сравните основную метрику и проверьте статистическую значимость. Не ограничивайтесь вопросом «какая версия выиграла».

Что смотреть

  • Разницу и доверительный интервал. Не только «вариант B лучше на 12 процентов», но и диапазон, в котором, вероятно, лежит реальный эффект.
  • Значимость. Достаточно ли данных, чтобы исключить случайность.
  • Сегменты. Одинаково ли изменение работает на мобильных и компьютерах, для новых и вернувшихся посетителей, для разных каналов. Но будьте осторожны: чем больше сегментов, тем выше вероятность ложных открытий.
  • Вторичные метрики. Не ухудшился ли средний чек, количество возвратов, качество заявок.
  • Стабильность во времени. Если разница есть только в первые дни, это может быть эффект новизны.

Если победителя нет

Отсутствие разницы тоже результат. Он говорит о том, что изменение не влияет на поведение или его эффект мал. Это знание полезно: вы не потратите ресурсы на внедрение бесполезной правки и сможете перейти к следующей гипотезе. Фиксируйте такие результаты в журнале тестов, чтобы не возвращаться к ним.

Инструменты

Для A/B-тестов существуют специализированные платформы, модули для систем управления сайтом и сервисы, встроенные в аналитику. При выборе обратите внимание на следующее:

  • удобство создания вариантов без вмешательства разработчика;
  • корректность разделения трафика и повторных заходов;
  • интеграция с системой аналитики и целями;
  • влияние на скорость загрузки страниц;
  • возможность считать статистическую значимость и показывать доверительные интервалы;
  • поддержка таргетинга по сегментам и устройствам.

Для сложных случаев, таких как тесты оформления заказа или алгоритмов каталога, эксперименты реализуются на стороне сервера. Это обеспечивает чистоту данных и отсутствие мерцания. Информация о технологиях, которые мы используем в проектах, собрана на странице технологий.

Типичные ошибки

  • Остановка при первых хороших цифрах. Самая популярная причина ложных победителей.
  • Слишком маленькая выборка. Результат определяется случайностью.
  • Тест на нерепрезентативном периоде. Распродажа или праздники искажают поведение.
  • Много метрик без основной. Если смотреть на двадцать показателей, один всегда окажется «значимым» случайно.
  • Несколько изменений сразу без понимания причин.
  • Игнорирование технических ошибок. Вариант B ломается в одном из браузеров, и это портит результат.
  • Копирование результатов чужих тестов. То, что сработало на другом сайте, не гарантирует успеха у вас.
  • Выбор победителя по вкусу. Цифры не совпали с ожиданиями, и тест объявляют «неправильным».
  • Отсутствие журнала. Через полгода никто не помнит, что проверяли и с каким результатом.

Журнал экспериментов

Систематизируйте опыт: записывайте каждый тест в единый документ. Рекомендуемые поля:

  • проблема и данные, на основании которых она найдена;
  • гипотеза и обоснование;
  • варианты, скриншоты, изменяемые элементы;
  • основная и дополнительные метрики;
  • расчётная выборка и срок;
  • результат с цифрами и значимостью;
  • вывод и решение: внедрить, отклонить, повторить в другом виде.

Через несколько месяцев такой журнал превращается в базу знаний о вашей аудитории и ускоряет принятие решений при дизайне новых страниц.

Альтернативы при малом трафике

Если на сайте мало посетителей, строгий A/B-тест неприменим. Но оптимизацию можно вести другими способами:

  1. Качественные исследования. Интервью с клиентами, опросы после заявки, вопрос на странице «что вам не хватило?».
  2. Записи сессий. Пять-десять записей на проблемной странице уже показывают системные трудности.
  3. Сравнение периодов. Изменение вносится для всех, затем сравниваются сопоставимые отрезки времени. Метод менее строгий, но подходит как грубая проверка.
  4. Эвристический анализ. Проверка страницы по списку известных принципов юзабилити. Для этого есть услуга UX-аудита.
  5. Крупные изменения. Вместо мелких правок тестируйте принципиально разные варианты: эффект будет выше, и его проще заметить.

Как встроить тестирование в работу сайта

Эксперименты приносят результат, когда становятся процессом, а не разовой активностью. Типичный цикл: анализ данных, поиск проблемы, гипотеза, тест, анализ, внедрение, новый цикл. Такой подход хорошо сочетается с постоянной поддержкой сайта: часть времени можно отдавать не только на исправление ошибок, но и на улучшение показателей.

Для новых проектов полезно заранее предусмотреть возможность экспериментов: гибкую структуру блоков, модульные компоненты и чистую аналитику. Тогда проверка гипотез не потребует переделки страниц. О принципах такого подхода рассказано в статье про дизайн-систему. Применять тесты особенно эффективно на страницах, которые приводят трафик из рекламы, например на посадочных под рекламу, где каждая доля процента конверсии превращается в экономию бюджета.

Итог

A/B-тестирование — это способ заменить споры данными. Но чтобы он работал, нужна дисциплина: начинать с проблемы, формулировать гипотезу с причиной, заранее выбирать метрики, считать выборку, не останавливать тест досрочно и честно анализировать результат, в том числе отрицательный. Если трафика мало, используйте качественные методы и крупные изменения.

Если вы хотите внедрить культуру экспериментов на своём сайте или подготовить страницы, на которых удобно проверять гипотезы, напишите нам через контакты. Мы поможем определить приоритеты и подобрать подход под ваш объём трафика.