В защиту A/Б-тестирования
«Как изменить сайт, чтобы его его посетители совершали больше покупок?». Можно попытаться ответить на этот вопрос глобально и сделать редизайн всему сайту. Можно сделать его более современным, красивым и привлекательным. Но на эту работу будет потрачено очень много сил, времени и средств, которых и так всегда не хватает. Несмотря на это, существуют примеры, когда изменение одного лишь цвета кнопки или надписи, призывающей к покупке приводило к огромному росту числа продаж. В тоже время не факт, что глобальный редизайн обеспечит такую же конверсию траффика в такие долгожданные действия.
В юзабилити-тестировании существует такой инструмент - A/Б-тестирование (иногда его называют сплит-тестирование). Оно не занимает много времени и сил и позволяет провести сравнительный анализ двух однотипных элементов. У такого метода есть свои сторонники и противники, но метод, безусловно очень полезный и важный. В защиту этого метода и приводится статья, опубликованная в Smashing Magazine. (Далее перевод статьи)
___________________________________________________
Совсем недавно A/Б-тестирование попало под несправедливую критику со стороны разных Internet-сообществ. Несмотря на то, что в некоторых местах эта критика и является справедливой, основной аргумент против A/Б-тестирования все же некорректен. Создалось ощущение, что происходит путаница между методом A/Б-тестирования и его конкретной реализацией (например, тестирование красной и зеленой кнопки и другие тривиальные тесты). Давайте взглянем на замечания, которые всплывали на сайте [Smashing Magazine] за последнее время.
Аргумент №1: A/Б-тестирование и локальный минимум.
Джейсон Коэн (Jason Cohen) в своей статье под названием «Из выгребной ямы в канализацию: ловушка A/Б-тестирования» утверждает, что A/Б-тестирование дает нам в результате локальный минимум, в то время, как целью является достижение глобального минимума. Те, кто не понимает разницу между локальными и глобальными значениями в контексте A/Б-тестирования, могут представить себе зависимость конверсии от расположения элементов на странице. Эту зависимость можно представить в виде графика, каждая точка которого представляет собой одну из модификаций страницы (по оси Х) и процент ухода с нее (по оси У). Чем ниже точка на графике, тем лучше. Рассмотрим пример Джеймса с противопоставлением глобального минимума локальному:
Однако дальше Джейсон признает в своей статье, что этот довод на самом деле не связан с A/Б-тестированием, поскольку этот же метод может быть использован и для проверки радикальных изменений и это позволит добиться глобального минимума. Таким образом несправедливо называть это ловушкой тестирования, скорее этот аргумент указывает на бессмысленность тестирования небольших изменений.
Итак, A/Б-тестирование это не преступление и достижение локальных минимумов не является реальной проблемой. Давайте представим себе ось Х как различные цвета фона, а ось У как степень уходов со страницы. В таком случае аргумент Джеймса звучит примерно так: если вы протестировали десятки оттенков синего фона, то вы сможете уменьшить показатель уходов, но если вы попробуете что-то совсем новое (например, желтый фон), вы сможете достичь абсолютного минимума этого показателя.
Но с этим аргументом есть две проблемы...
1. Вы не можете быть уверены, что достигли глобального минимума
Глобальный минимум существует только в теории. Давайте вернемся к примеру с желтым фоном. Что, если при дальнейшем тестировании вы обнаружили, что не цвет фона дал вам самый низкий показатель уходов? Или еще лучше, фон с изображением смешных котов дал еще более низкий показатель? Дело в том что если вы не добились показателя ухода в 0%, вы не можете быть уверенны, что действительно достигли глобального минимума.
Существует еще один способ убедится, нашли ли вы глобальный минимум, после того, как вы исчерпали все возможности. Теоретически, если страница не содержит ничего, кроме цвета фона (и вы даже не можете добавить фоновый рисунок, потому, что ваш босс ненавидит его), вы можете просто перебирать разные цвета и определить, какой из них даст вам самый низкий показатель уходов.
Это подводит нас ко второму вопросу...
2. Друзья мои, существует не только цвет фона
При оптимизации web-страницы вы можете изменять буквально сотни или даже тысячи переменных (и цвет фона - всего лишь одна из них). Заголовок, верстка, длина страницы, видео, изображения и цвет текста - это несколько из таких переменных. Ваша цель на этой странице (с точки зрения посещаемости или степени уходов) определяется всеми такими переменными. Это значит, что график (изображенный выше) не может быть одномерным и не так прост, как кажется. На самом деле он носит многомерный характер с большим числом переменных, влияющих на максимумы и минимумы.
Пики на графике являются показателями посещаемости или уходов со страницы и определяются разным числом переменных (на графике их всего две, но в реальности существуют сотни переменных). В отличии от одномерного случая, перебрать все варианты в реальности невозможно. Таким образом вы не можете гарантировать, что добились глобального минимума. Урок, который из этого можно извлечь - искать локальные минимумы.
Аргумент №2: A/Б-тестирование минимальных изменений.
Рэнд Фишкин (Rand Fishkin) из SEOmoz разместил статью под заголовком «Не попасть в ловушку мелочей A/Б-тестирования», в которой он подтверждает вывод Джеймса о бессмысленности тестирования отдельных небольших элементов страницы. Его главный аргумент это то, что тестирование минимальных изменений отнимает слишком много энергии и времени. Ниже приведено изображение из его блога. Конечные изменения слишком малы, чтобы тратить на них столько сил.
Первое, что необходимо сделать - уменьшить время, затрачиваемое на прохождение теста (часто несколько недель), но не время, необходимое для создания теста (занимающее, обычно, несколько минут). Есть очень много автоматизированных систем тестирования, поэтому, после того, как вы создали тест, вам необходимо потратить совсем немного времени на настройку. Что плохого, если инвестиции в 15 мин. на создание теста для цветных кнопок дают в итоге 1,5% увеличение конверсии траффика в действия?
Многие инструменты A/Б-тестирования позволяют очень просто создавать небольшие тесты. Они могут проводить тестирование в фоновом режиме, тест может быть в любой момент автоматически остановлен. Чем вы рискуете, создавая такие тривиальные тесты? Я вижу только положительную сторону: рост конверсии и продаж.
В качестве иллюстрации Рэнд приводит в пример редизайн стартовой страницы Basecamp, после которого конверсия возрасла на 14%. Можете себе представить, сколько усилий было приложено, чтобы сделать такой редизайн (по сравнению с тестом цветных кнопок)? Действительно, как вы уже поняли, график испытаний многомерный и очень сложный, поэтому при глобальном редизайне велика вероятность сделать еще хуже. В проектирований появляется много мест для ошибок. Можно ошибиться не только в цвете кнопки. Но мы не должны делать вывод, что тестирование радикальных изменений эффективнее тестирования мелочей, только потому, что мы никогда не слышали, что в результате глобального исследования что-то пошло не так. К тому же тестирование радикальных изменений требует гораздо большего числа сил и времени, по сравнению с небольшим тестом красного против синего.
Мы точно знаем, что при попадании в локальный минимум повышается конверсия, и это ведет непосредственно к увеличению прибыли. Это не означает, что мы должны отказаться от стремления найти глобальный экстремум (минимум или максимум). Глобальный экстремум, как «мир во всем мире» - его невероятно сложно достичь, но всегда нужно двигаться в этом направлении. Урок, который можно извлечь из вышесказанного: идеальная стратегия представляет собой смесь небольших тестирований (красный или синий?) и тестирований глобальных изменений.
Аргумент №3: A/Б-тестирование душит творчество.
Джефф Этвуд (Jeff Atwood) сравнивает фильм «День Сурка» с A/Б-тестированием и приходит к выводу, что A/Б-тестирование также терпит неудачи, как и герой фильма. Джефф полагает, что в A/Б-тестировании нет места эмпатии и оно душит творчество. Он ссылается на твиттер Натан Боуэрс (Nathan Bowers):
A/Б-тестирование как наждачная бумага - вы можете сгладить с помощью него какие-то шероховатости, но не можете ничего реально создать.
Но кто утверждает, что A/Б-тестирование необходимо для создания чего-либо? Создание происходит в уме, а не исключительно инструментом. Так же порочно эти рассуждения можно применить и к обычной кисти:
Кисточка как палка с мехом - вы можете с ее помощью пощекотить кошку, но вы не можете ничего реально создать.
A/Б-тестирование, как кисть, просто инструмент. И как все инструменты оно имеет свои свойства и ограничения. Оно не диктует вам, что вы можете проверить, таким образом тестирование ограничивается только вашей фантазией. С A/Б-тестированием или без него вы можете применять всю вашу эмпатию и фантазию в создании дизайна вашего сайта. Только от вас зависит, осуществлять все изменения сразу, или взять более научный подход и попытаться определить, действительно ли новый дизайн обеспечит большую конверсию. Полученный урок: A/Б-тестирование это инструмент, а не инструкция по проектированию.
Резюме
Уроки, которые мы получили из этих трех аргументов:
- Мы никогда не сможем добиться глобального экстремума, заменим его локальным экстремумом. Тестирование минимальных изменений занимает несколько минут, но результат будет гораздо больше, чем стоимость этих минут.
- Постоянно изучайте наилучшие пути увеличения посещаемости выполняя как тривиальные тесты, так и тестирования глобального редизайна.
- A/Б-тестирование не убивает вашего воображения (вам необходимо очень много воображения при разработке вариантов тестов).
- И наконец, не чуствуйте себя виноватым, применяя A/Б-тестирование.
Перевод In Defense Of A/B Testing (Paras Chopra) - Smashing Magazine