A/B тестирование: можно ли результатам сплит-теста доверять?
В духе Зимних Олимпийских Игр, которые закончились на прошлой неделе, я бы хотел поговорить о «победителе» финального A/B тестирование, которое мы провели для Официального Олимпийского интернет-магазина. Мы уже добились значительного улучшения при помощи предыдущих тестов в «процессах оформления заказа», «странице товара» и «главной странице». Поэтому, быстро, до начала Игр, при сотрудничестве с Wider Funnel, мы провели наше четвертое A/B тестирование страницы рубрики каталога, чтобы принять последний удар в оптимизации конверсиии.
Тестирование страницы рубрики каталога
Картинка ниже - контрольная страница (изначальная):
Мы просмотрели наши предыдущие тесты и после нескольких гипотез и исследований создали две альтернативные версии, со следующими изменениями:
А) Ввели вертикальное меню, которое показывает все подкатегории, для упрощенного доступа к другим прдуктам
В) При условии наличия у товара других цветов, добавили цветные миниатюры.
С) При помощи рекомендательных инструментов (кросс-сел), показали наиболее популярные товары для конкретной категории для увеличения прибыли с продаж топовых вещей.
D) Ввели легкий инструмент для фильтрации навигации, чтобы улучшить юзабилити
Вариант A:
Вариант B:
Чему мы научились?
Во время эксперимента все вариант пропорционально поделили между собой 100% траффика. Это был еще один жесткий эксперимент, где еще 2272 транзакций и 10 дней, не дали статистически значимого победителя. Но мы собрали достаточно посетителей и статистики для того, чтобы принять решение.
Вариант В был выбран потому, что в соответствии с Google Website Optimizer (GWO), конвертировался лучше, чем контрольные на 7,74%
Что нас удивило: Control vs. Control
Кроме того, мы хотели сделать небольшой GWO тест сами. Мы создали другой вариант, который был точной копией контрольной версии. Может быть это была статистическая погрешность, но эта точная копия была на 4,97% лучше. Мы не делали этого для других тестов, и, таким образом, не могли подтвердить нормальное ли это явление. Так что это на обсуждение. Пробовали ли вы подобные A/A испытания и что они дали?
Оригинал статьи, перевод мой, шишки не кидать, а поправлять, если ошибся.
Ответ на вопрос кто-нибудь даст?)
Запись опубликована Nezname.Вы можете оставить комментарии здесь или тут