Как работает многомерное тестирование

Многомерное тестирование более сложное и мощное, чем тестирование с разбивкой на первый-второй. Успех не сводится к результатам отдельных компонентов, а определяется тем, как дизайн и элементы контента работают вместе. Наши тесты неоднократно доказали, что суть в этом.

Если у вас есть идеи улучшения ряда элементов на странице, вы можете провести тест с разбивкой, сравнив оригинальную версию с той, в которую внедрены все ваши изменения. Хотя вы получите некий результат, этот тест не скажет вам, какие изменения оказали влияние. Половина изменений может сделать положительный вклад, тогда как другая половина — отрицательный. Тест с разбивкой не скажет вам, какие изменения были полезны и какие — вредны, и в этом случае в игру вступает многомерное тестирование.

В многомерном тесте индивидуальные изменения представляются в случайном порядке, создавая множество возможных комбинаций. Если бы у вас было три альтернативных заголовка, два альтернативных подходящих изображения и три призыва к действию, многомерный тест дал бы вам 18 различных комбинаций (3*3=18). Вы могли бы достичь такого же результата, создав 18 различных вариантов с тестом с разбивкой на первый-второй, но это потребовало бы гораздо больше работы.

Результат покажет вам, как все индивидуальные компоненты влияют на общий уровень успеха, но это менее значимо, чем вы можете себе представить. Настоящая ценность многомерного тестирования в том, что оно сравнивает, как все сочетания работают в гармонии. Этот тест часто дает результат, отличный от тех, что вы ожидали увидеть, посмотрев на результаты отдельных разделов страницы.

В GWO многомерные эксперименты дают вам вторую вкладку, которая показывает среднюю статистику для всех разделов страницы. Рисунок 11.3 показывает обе вкладки для одного из наших многомерных тестов.

Заметьте, что в номинации «Комбинации» (Combination) лидирующая комбинация 22 показывает улучшение по сравнению с оригиналом в 83,0% (она является комбинацией всех оригинальных компонентов). Комбинация 22 включает в себя 2 раздела из оригинальной страницы и три варианта изменений. Однако когда вы посмотрите на средний результат отдельных разделов страницы в номинации «Разделы страницы», вы заметите:

■ «Голубой, приближенный» (Blue, closer) вариант ссылки-изображения дает улучшение всего на 0,51%.

■ Описание продукта «без рамки» (no border) работает на 0,87% хуже, чем оригинальное.

■ «Центрированное» (centered) меню продукта ответственно всего за 9,56% улучшений в конверсии.

Эти отдельные результаты явно не дают в сумме 83% улучшений в коэффициенте конверсии. Причина в эффекте гармонии, которые я упомянул ранее. После года постоянного проведения многомерных тестов мы теперь полностью игнорируем вкладку «Разделы страницы» (Page sections) и опираемся только на то, какие комбинации дают лучшие результаты.

Вы можете заметить еще несколько различий между отчетом теста с разбивкой на первый-второй и многомерным отчетом на рис. 11.3. Хотя я создал всего пять альтернативных элементов страницы, эксперимент включает в себя 31 комбинацию (32, включая оригинальное сочетание), потому что 2*2*2*2*2=32.

Рис 11.3. Доказательство работоспособности эффекта гармонии

«Вид комбинаций» показывает несколько выключенных комбинаций, отмеченных как недоступные для выбора ряды. Вы можете приказать GWO автоматически отключать проигрывающие комбинации, основываясь на низкой статистической возможности успеха. Здесь я вручную отключил несколько комбинаций, которые показывали плохие ранние результаты, чтобы направить больше посетителей через оставшиеся варианты. Чем больше посетителей увидят каждый вариант, тем быстрее вы получите убедительные результаты.

Вкладка «Разделы страницы» в первом столбце представляет сумму рейтинга релевантности. Она показывает, какой раздел страницы имеет наибольшее влияние на результаты. В этом случае только раздел «Меню продукта» вносит какой-то значительный вклад, но это все равно всего лишь 1/5 (потому что средняя разница между лучшим и худшим вариантом меньше 10%). Я считаю рейтинг релевантности интересным, но не всегда полезным. (На самом деле вторая по результатам комбинация использует оригинальное меню продукта и показывает 67,8% улучшение по сравнению с оригиналом, что лишено какого-либо смысла и всего лишь иллюстрирует эффект гармонии.)

Создание многомерных тестов

Процесс создания многомерного теста в GWO аналогичен настройке теста с разбивкой, в нем вы определяете страницу, которую хотите тестировать и единственную целевую страницу. Вместо создания альтернативных версий целой страницы, вы определите разделы страницы, для которых вы можете создать альтернативные варианты.

Вам понадобится добавить управляющий сценарий и отслеживающий сценарий на вашу тестируемую страницу, а также сценарий конверсии на вашу целевую страницу, как и в тесте с разбивкой. Для многомерных тестов существует еще один шаг. Вы должны включить кусок кода JavaScript в пометку HTML вашей страницы в начале и конце каждого раздела, который вы хотите протестировать, как показывают инструкции на рис. 11.4.

Замечание

Вводимый код включаем в себя тег </noscript>, у которого нет открывающего тега <noscript>. Это означает, что ваша пометка будет недействующей, так работает GWO.

Рис. 11.4. Выделите разделы страницы для многомерного теста в Google Website Optimizer

Вы можете назвать разделы страницы, как захотите. Например, если вы решили отдельно протестировать различные комбинации вашего главного заголовка страницы (тег М) и ваш первый абзац, добавьте примерно такой код:

<h1><script>utmx_section("заголовок")</script>Как работает Чудесный оволоситель Джо</noscript><h1><p><script>utmx_section("первый абзац")<script> Чудесный оволоситель Джо создавался при использовании уникального секретного сочетания натуральных растительных экстрактов и т. д.</noscript><p>

Заметьте, что теги JavaScript окружают оригинальный контент в каждом из двух разделов. GWO выделит этот контент и будет использовать его как оригинальный вариант. Выберите значащие названия для разделов. Я использовал «заголовок» и «первый абзац».

Прежде чем продолжить настройку тестовых страниц, вы должны разместить теги JavaScript на тестируемой странице. GWO извлечет оригинальный контент из каждого раздела и даст вам возможность создать один или несколько вариантов для каждого раздела, вбивая или вставляя альтернативный код HTML. Рисунок 11.5 показывает, как выглядит этот шаг. Вы можете выбрать +Add new variation (Добавить новый вариант), чтобы создать новый альтернативный вариант для нового раздела, который начнется по умолчанию с оригинального контента. (Заметьте, что на рис. 11.5 мы тестируем альтернативные блоки CSS, а не обычный HTML-контент, чтобы изменить качества визуального стиля, что является значимым и полезным подходом.)

В этом первом разделе главы я представил базовую механику настройки тестов с разбивкой и многомерных тестов. Я рекомендую начать проводить ваши собственные тесты как можно скорее, и вы быстро привыкнете к тому, как работает GWO. Вы можете протестировать практически все, что, по вашему мнению, оказывает влияние. Вы, возможно, быстро обнаружите некоторые очевидные улучшения и узнаете что-то интересное из каждого теста. В оставшейся части главы я поделюсь практическими советами о том, как получить максимальный эффект от Google Website Optimizer.

Рис. 11.5. Создание вариантов для многомерного теста в GWO