Тестирование изменений на сайте — в чем подвох?

Различные люди и организации предлагают вам такую вещь как А/Б тестирование, ей же аргументируются некоторые вещи в статьях про повышение конверсии.

А/Б тестирование — это метод тестирования, при котором разным группам пользователей показывается разное содержимое сайта, после чего сравнивается результативность и делаются соответствующие выводы.

Но в этой статье мы поговорим и про обычное тестирование, когда просто на сайте вносят правки и смотрят изменения конверсии.

Само собой, тестирование и проверка на деле каких-то моментов это правильное дело, без которого никак нельзя. Только многие забывают, что нужно учитывать кучу других факторов при любом тестировании, ведь легко можно ошибиться в выводах, забыв хоть про один.

Не всегда изменения в конверсии это плод каких-либо изменений на сайте.

Возможно у вас было такое, что все идёт хорошо, но потом в один момент заказы заканчиваются. И начинаются поиски виновных личностей... Именно личностей, так как мало кто вспоминает про другие вещи, которые могут повлиять на конверсию.

У меня неоднократно было такое, что на моих сайтах конверсия хорошая — идут звонки, показы, а потом тишина. Сразу звонок от клиента с вопросами из разряда «что за фигня, почему работа встала?». И такое происходит с некоторой периодичностью, но после первой пары раз клиент обычно успокаивается, так как видит, что все само приходит в норму. Первым делом, конечно же, проверяются всякие формы заявок и метрики, а если все работает, то обычно я говорю «подождите, пройдет». Логично же — если все было хорошо и ничего не менялось, то явно проблема не в сайте.

На такие моменты влияют разные вещи — кризис, сезонность сферы, праздники и т.д. Иногда очень тяжело объяснить такие вещи и проще списать это на положение планет или магнитные бури.

Например — нами было сделано два сайта по продаже пиломатериалов из лиственницы. Там немного разная ценовая категория и разные регионы, но иногда бывает такое, что на одном сайте с заказами все нормально, а на другом внезапно 0 и наоборот.

Вывод — такие временные затишья это нормально. Начинать паниковать стоит только в том случае, если это затягивается.

Как тестированием испортить конверсию?

Представьте ситуацию, что вы решили улучшить конверсию и проводите какие-то улучшения на сайте. Сделали что-то и ждем результатов... А что будет, если вы попадете в этот период затишья? Что будет дальше? Правильно — вы сделаете вывод, что эти изменения были неправильными и все не работает.

И тут обычно два варианта — либо разработчик сайта с виноватым лицом говорит «ну а шо я сделаю?», либо изменения продолжаются до тех пор, пока этот период не закончится. И тут уже не факт, что после ряда изменений и возвращении активности клиентов все вернется на прежний уровень, так как одному богу известно, что можно нагородить с сайтом под действием «ААА НЕТ ЗАКАЗОВ ЧТО ДЕЛАТЬ?!». Честно могу сказать — я со своим сайтом тоже проворачивал такие изменения, которые в последствии приводили к понижению конверсии.

Подобное затишье может продлиться 3 дня, а может неделю. Может вместо 10 заказов будет 5, но этого может хватить для того, чтобы сделать неправильный вывод.

Что необходимо учитывать в подобных тестах?

Так вот, чтобы не вляпаться в подобную кашу, нужно проводить реально длительные тесты, чтобы по новой версии пробежалось очень много «подопытных» для адекватной статистики. Нереально сделать правильные выводы в короткий срок, если у вас меньше 100 посетителей в день.

К чему вы придете, если у вас и без изменений в один день может быть 5 заказов, в другой 2, а в третий 7? Мне встречались случаи, когда сайт стабильно в неделю давал 40-50 звонков в день весь месяц, а потом неделю по 20. И моё счастье, что клиент не захотел перелопатить весь сайт и просто подождал.

К тому же, для нормальной проверки каких-либо изменений в идеале нужно иметь статистику за прошлые года, чтобы понять, когда может быть естественный сезон затишья. Тем не менее, кризис на дворе никто не отменял.

Не забывайте главного!

Все изменения должны быть логичными — сайт должен становиться удобнее и понятнее. Цвет кнопки или наличие какого-то второстепенного блока не смогут поменять конверсию. Но хорошие условия, акции, выгодная цена и удобная форма заказа смогут это изменить.

Обычно подобные А/Б тесты я не предлагаю клиентам, потому что нет смысла в поисках высокой конверсии менять картиночки или прочие мелочи, а потом еще и попасть под риск сделать неверные выводы. Обычно все изменения на сайте происходят после анализа звонков клиентов с сайта исходя из того, какие вопросы задают по телефону, или же после анализа метрики.

И в первую очередь правильнее делать правки цены, если это позволяет товар. На моём опыте только изменение цены давало резкие изменения количества заказов.

Ну и напоследок

Подобные ошибочные тесты на аудитории в 10-50 человек в день это единственное, что может заставить человека написать статью с заявлениями из разряда «мы поменяли цвет кнопки на красный и конверсия выросла на 50%» или «мы поменяли картинку на фоне и удвоили конверсию». Это что-то и могло поменять, но только в том случае, если кнопку вообще не было видно из-за окружающего мусора, а на фоне сайта с доставкой цветов изначально была изображена свадьба.