21 ошибка a/b тестирования, которая забирает ваши ресурсы на ветер
07.04.2023
Пришли – посмотрели – ушли. Если ваш сайт имеет высокий показатель отказов, вам однозначно нужны изменения. Что именно оптимизировать и как улучшить показатели вовлеченности, поможет определить а/b тестирование.
Этот тактический шаг позволит попробовать новые идеи на потенциальных клиентах. Так вы сравните варианты одной страницы (различающиеся одним-двумя параметрами), определите более эффективный и достигнете увеличения конверсий, рейтинга кликов и т.д. Однако изменения сработают только при правильной настройке сплит-тестирования.
Ошибки, которых следует избегать во время проведения а/b тестирования:
Планировать тестирование слишком рано
Не проводите тестирование ради тестирования. Для эффективности эксперимента необходимо иметь достаточное количество данных, которое затем сравните с полученными. Информация должна быть надежной – это влияет на правильность гипотезы и достоверность выводов.
Неправильная гипотеза
Проверьте, правильно ли вы определили причины конкретных результатов на веб-сайте, таких как показатель отказов, высокий трафик с низкими продажами и т.п.
✖ Если ваша гипотеза неверна, то и результаты тестирования будут неэффективными.
Для того чтобы избежать этой ошибки, следует разрабатывать гипотезу, которая базируется на обоснованных данных. Получить их можно с помощью Google Analytics, Google Search Console, записи сеанса и подобного. Хорошо работают также опросы среди потенциальных клиентов.
У тестирования нет цели
Если у вас есть правильная гипотеза, вы можете вывести из нее конкретный результат, которого хотите достичь. Иногда компании бесцельно проводят тестирование и наблюдают результаты. Однако вы получите лучшие результаты (увеличение количества потенциальных клиентов, конверсий и продаж), если будете четко понимать, где именно нужен прирост.
Проведение тестирования на сайте разработки
Вы можете удивиться, но иногда разработчики забывают перейти на «живой» веб-сайт и производят тестирование на версии, которая еще в разработке. Поэтому вы не получите реальных результатов, поскольку веб-сайт смогут посетить только разработчики, а не ваша целевая аудитория.
Тестирование неправильной страницы
Какую страницу вы должны тестировать, зависит от ваших целей. Спрогнозируйте путь, который проходит пользователь, чтобы приобрести товар/услугу. Посмотрите, где он останавливается, и сделайте изменения именно там.
Копирование чужого практического опыта
Ваш бизнес уникален – не стоит копировать стратегии тестирования по тематическим исследованиям или опыту ваших конкурентов.
Проанализируйте их. Выясните, какие стратегии использовали и зачем. Примите эти идеи к сведению, но используйте их как вдохновение для собственной стратегии a/b-тестирования.
Нацеленность только на увеличение конверсий
Чрезмерная сосредоточенность на конверсии может повлиять на другие сферы вашего бизнеса в долгосрочной перспективе.
Например, во время а/b тестирования вы изменили свои годовые планы на месячные и заметили всплеск конверсий. Однако со временем вы можете увидеть, что теряете деньги, поскольку привлекаемые клиентами приносят небольшое количество средств и уходят из компании после нескольких использований ее продукции. В то время как клиенты, оплатившие годовые планы, вероятно, останутся надолго и принесут постоянную прибыль.
Один тест – одно изменение
Считаете, что тестировать варианты сразу нескольких элементов при одном a/b-тестировании эффективно? Это сэкономит ваше время и средства, но как насчет результатов?
Если вы протестируете несколько элементов одновременно, то не сможете определить, какой вариант какой составляющей внезапно повысил коэффициент конверсии.
Фактически это полностью отрицает цель a/b-тестирования и вам придется начинать с нуля.
Создание сразу нескольких вариантов a/b-тестирования
Несколько вариантов сплит-тестирования сайта не гарантируют получения более ценной информации. Они только добавляют путаницу, замедляют результаты и могут привести к неправильным выводам.
Чем больше у вас вариантов, тем больше трафика вам понадобится, чтобы получить требуемые результаты.
❕ Следовательно, у вас больше шансов попасть под влияние удаления файлов cookie.
Есть вероятность, что участники тестирования удалят свои файлы cookie через 3-4 недели. Такая ситуация окажет негативное влияние на ваш результат, поскольку участники, которые были частью одного варианта, могут оказаться в другом.
Разные варианты для разных аудиторий
Если вы будете сравнивать результаты тестирования разных вариантов для разных аудиторий, то не сможете прийти к объективным выводам. Это подобно сопоставлению яблока и банана.
Если один вариант доступен только для киевлян, то и другой должен отображаться только для аудитории из Киева.
Неудачное время тестирования
Существует несколько ошибок проведения a/b-тестирования, связанных с временем.
- Завершение теста слишком рано
Объективные результаты тестирования по стандарту достоверности в 95% можно получить, проанализировав данные, по меньшей мере, через неделю тестирования. В общем оптимальное время проведения эксперимента – две-три недели.
- Сравнение разных периодов
Достоверные результаты можно получить только при сравнении данных за аналогичный период.
Например, на выходных у вас самый большой трафик, тогда следует сравнивать данные только с этого периода. Также не стоит сопоставлять результаты в сезон и в обычные дни.
- Тестирование разных временных задержек на разных вариантах
Если вы показываете посетителю своего веб-сайта один вариант через 5 секунд, а другой через 15 секунд, результаты нельзя сравнивать.
Большинство клиентов будут ждать 5 секунд для получения результата запроса, но останутся ли они на 15 секунд – вопрос. Так что выводы при таком варианте сравнения не точны и не надежны.
Изменение параметров при тестировании
Если пользователь попадает на вариант A, он должен видеть этот вариант до конца тестирования. Изменение настроек посреди теста приведет к тому, что этот потребитель увидит вариант B. Так нарушается целостность данных. Чтобы избежать этой ошибки, следует равномерно распределять трафик, чтобы дать всем своим вариантам справедливый шанс.
Кроме того, не стоит менять сами варианты, ведь это усложняет определение причин результатов.
Игнорирование комментариев пользователей
Ваш тест получает клики, распространяется трафик, поэтому вы считаете его рабочим и продолжаете. Однако оказывается, что вы получили кучу жалоб о том, что пользователи не могут заполнить форму оформления покупки. Не игнорируйте комментарии, устраните проблему и перезапустите тест.
Тестирование несущественных элементов
Например, вы решили изменить текст кнопки с призывом к действию и выбираете варианты: ввести и добавить. Ошибка в том, что эти слова взаимозаменяемы, поэтому результаты теста не будут заслуживать внимания. Попробуйте сравнить варианты призывов на разных языках или с существенно разным значением.
Игнорирование периодических радикальных изменений
Изменение текста и цвета кнопки CTA, настройки отдельных элементов дизайна и тому подобное не смогут принести существенный результат для большинства предприятий.
Поэтому, когда постепенные изменения уже не дают желаемых результатов, следует применять радикальное тестирование.
❕ Периодическое радикальное тестирование предполагает значительные изменения на вашем веб-сайте и затрудняет определение того, какое изменение принесло положительные результаты.
Поэтому изменения следует делать взвешенно. Не пытайтесь думать от имени клиентов. Лучший способ узнать, что требует усовершенствования, – спросить их.
Примером радикальных изменений может служить изменение дизайна. Вместо того чтобы проверять отдельные элементы в вашем существующем дизайне, тестируйте большие его части.
Непонимание ошибок типа I и II
Ошибка типа I происходит, когда во время тестирования отвергается нулевая гипотеза, когда она действительно верна. Другими словами, это означает, что, по результатам тестирования, изменение считается статистически значимым, когда на самом деле оно таковым не является.
Ошибка типа II – когда нулевая гипотеза принимается, хотя на самом деле она ошибочна. Другими словами, это означает, что тестирование не замечает статистически значимой разницы между вариантами, когда она действительно существует.
Обе ошибки могут быть вредны, но обычно ошибка типа I считается более серьезной, поскольку она приводит к неправильным решениям.
Неправильные выводы
Получив данные после завершения а/b тестирования, вы должны правильно их оценить.
Для этого можно наблюдать изменения коэффициента конверсии, показателя отказов, кликов CTA и т.д. Однако, если вы анализируете только средние значения, то не можете быть уверены в выводах, поскольку эти значения часто неточны.
❕ Изучите результаты глубже и только тогда делайте выводы.
Лучше использовать Индивидуальные параметры в Google Analytics, так что вы сегментируете данные и создадите специальные отчеты.
Обобщение результатов
Во время а/b тестирования один из вариантов показывает увеличение количества конверсий на 35% по сравнению с контрольным. Вы считаете, что нашли идеальное решение и начинаете применять его на всем сайте. Однако спустя некоторое время вы замечаете падение коэффициентов конверсии.
✖ Формула успеха не обязательно будет работать на всех частях сайта.
Поэтому не стоит обобщать результаты одного тестирования и применять один и тот же дизайн, формулировку, кнопки и другие элементы на всем сайте.
Игнорирование маленьких побед
После тестирования вы получили увеличение конверсии на 2 или 5%, но считаете это не значительным достижением и игнорируете его. Зря.
Часто совокупный годовой прирост конверсии будет гораздо больше, чем получившийся в результате a/b-тестирования.
Небольшие доходы обычно являются реальностью сплит-тестирования, но со временем соответствующее изменение может привести к миллионным доходам. Поэтому игнорирование маленьких побед – одна из самых больших ошибок, которую вы можете совершить.
Игнорирование неудач
Иногда для того, чтобы получить максимальное количество конверсий, необходимо провести более одного теста. Однако каждый последующий тест должен учитывать ошибки предыдущего. Поэтому важен подробный анализ не только достижений, но и неудач проведенного тестирования. Так, благодаря сочетанию усовершенствованных пунктов из предыдущих экспериментов постепенно получим высокий прирост количества конверсий.
Постоянное недовольство результатами
Это заблуждение касается более психологического фактора. Часто, независимо от того, выросли ли после тестирования продажи на 0,5% или 50%, руководитель не удовлетворен. Однако не делайте этого – каждый прогресс (большой или малый) – великолепен. Празднуйте его со своей командой. Это мотивирует каждого делать больше и лучше.
Избегайте этих ошибок – проводите а/b тестирование эффективно
Мы собрали самые распространенные ошибки а/b тестирования. Несколько из них, вероятно, допускали и вы в своих предыдущих исследованиях. Если нет, то это здорово! Надеемся, что теперь вы ориентируетесь в подводных камнях, которые следует избегать при а/b тестировании и учтете эти знания в будущем.
