SEO-аналитика: прогноз, тестирование и влияние на бизнес

Время прочтения: 10 минут

Теги: SEO, Optimization

О чем статья?

Для кого статья?

SEO-аналитика включает процесс сбора и интерпретации данных, связанных с поисковой оптимизацией, которые помогают принимать взвешенные обоснованные решения. С точки зрения результативности продвижения она позволяет улучшать пользовательский опыт, адаптироваться к изменениям алгоритмов поисковых систем и оценивать эффективность стратегии. Маркетинговым агентствам SEO-аналитика помогает лучше взаимодействовать с клиентом: аргументировать свои решения, повышать доверие к экспертизе и обосновывать стоимость услуг. Какие метрики применять для построения KPI, как прогнозировать результаты и проводить SEO-эксперименты, рассказал Денис Колесников, ex-руководитель направления поисковой оптимизации в VK SMB, медиапроектах VK, рекомендательных системах «Пульс» и Relap, BU1 OZON.

Какие метрики использовать для построения KPI

Чтобы лучше понять, по каким показателям строить KPI, рассмотрим основные метрики, которые применяются в интернет-маркетинге. Условно их можно разделить на четыре группы:

• Метрики бизнеса — показатели эффективности деятельности компании, которые могут включать общий объем оборота товаров (Gross Merchandise Volume, GMV), сумму выручки (Revenue), пожизненную ценность клиента (Life Time Value, LTV), стоимость привлечения клиента (Customer Acquisition Cost, CAC), уровень доходности бизнеса (Return on Investment, ROI).

• Продуктовые метрики — показатели эффективности продукта, например, метрики, которые отражают количество уникальных пользователей на сайте в течение дня DAU (Daily Active Users) и месяца MAU (Monthly Active Users), процент вернувшихся клиентов (Retention, CRR), коэффициент конверсии (Conversion Rate, CR), среднюю длительность сеанса пользователя (Timespent, TSS).

• Поведенческие метрики — показатели, которые отражают, как посетители взаимодействуют с сайтом. К этой группе метрик относятся число визитов (Visits), просмотров (Views), уникальных посетителей (Unique Users), процент пользователей, покинувших сайт (Bounce Rate), среднее количество страниц, просматриваемых пользователем за одно посещение (Page Depth), соотношение числа кликов к числу показов (Click-Through Rate, CTR).

• SEO-метрики (метрики здоровья) — показатели, которые помогают оценить эффективность продвижения сайта в поисковых системах. Например, метрики трафика (%Ptraf, Ptraf, MaxPtraf), видимости (Average Position, AP), доли запросов в топе (%Top-3, 5, 10, 20), число страниц в индексе.

Метрики бизнеса и продуктовые метрики входят в зону ответственности бизнеса и продукта, а поведенческие и SEO-метрики — в зону ответственности маркетингового агентства. Для полноценного анализа важны все показатели, поэтому если компания хочет получить качественную SEO-аналитику, ей необходимо предоставлять агентству информацию о продуктовых и бизнес-метриках. В противном случае агентству придется оперировать только маркетинговыми и SEO-показателями, и оно не сможет связать их с бизнес-метриками.

При выборе метрик для построения KPI необходимо учитывать глобальную стратегическую цель компании, которая зависит от того, на каком этапе развития находится бизнес. Например, молодые проекты в первую очередь сосредоточены на завоевании целевой аудитории, поэтому для них наиболее важными являются метрики роста — количество установок, число новых пользователей, показатели трафика. Для крупных медиа-платформ, таких как VK Видео, первостепенное значение имеют метрики активности — удержание, конверсия, активное время. Компании, которые уже получают доход от реализации продукта, прежде всего обращают внимание на метрики монетизации — прибыль продукта и пользователей, готовых за него платить, доход от подписки и другие финансовые показатели. 

Метрики роста, активности и монетизации

Привлечение органического трафика дает бизнесу ряд преимуществ, среди которых можно выделить:

• Увеличение продаж и доходов. SEO-продвижение позволяет улучшить показатели DAU и MAU, то есть увеличить число уникальных посетителей сайта, повысить продажи и потенциальную выручку (метрики GMV и Revenue), а также узнаваемость бренда. 

• Снижение затрат. Органический трафик обходится дешевле, чем платные способы продвижения, что позволяет снизить стоимость привлечения клиентов (метрика CAC) и повысить уровень доходности бизнеса (показатель ROI).

• Диверсификацию трафика. SEO-продвижение снижает зависимость компании от платных каналов и таким образом повышает устойчивость бизнеса к изменениям на рынке. 

• Взаимодействие и лояльность клиентов. Качественный контент способствует увеличению количества повторных визитов (метрика CRR), повышению лояльности и долгосрочной ценности клиентов (показатель LTV). 

Сравнение метрик при платном продвижении и продвижении с помощью органического трафика представлено на скриншоте ниже.

Бизнес-метрики при разных способах продвижения

Как видно из примера, платные каналы позволяют привлечь большее количество пользователей и значительно увеличить выручку за месяц. Однако благодаря более высокому показателю LTV и меньшим затратам, рентабельность маркетинговых вложений при продвижении с помощью органического трафика оказывается намного выше, чем при платном продвижении. 

Какие инструменты применять для поиска бенчмарков

Бенчмарк (от англ. benchmark — ориентир, эталон) — это набор методик и параметров состояния системы или активов, который позволяет сверить их с эталоном в отрасли, а бенчмаркинг — это процесс измерения, оценки и анализа. В зависимости от исследуемых параметров (стратегий, процессов или показателей деятельности компании) выделяют следующие виды бенчмаркинга:

• отраслевой — исследуются процессы, функции и продукты одной отрасли или специализации; 

• конкурентный — сравниваются показатели только конкурирующих игроков;

• стратегический — изучаются успешные стратегии конкурентов и компаний — лидеров рынка;

• процессный — сравниваются определенные процессы внутри организации, между разными компаниями, лидерами отрасли;

• функциональный — изучается конкретная функция внутри своей организации, у конкурентов и лучших на рынке.

В бизнесе используются все виды бенчмарков, в SEO в основном проводится конкурентный бенчмаркинг. Источники бенчмарков могут быть разными. Например, для оценки трафика можно использовать сервисы SpyWords, SimilarWeb, SEMrush, для анализа поисковой выдачи — рейтинг видимости «Ашманов и партнеры», сервисы Keys.so, Топвизор и Seowork. Для бенчмаркинга по продуктовым метрикам можно использовать данные web.dev, EMARKETER, Optimizely, по финансовым показателям — данные финансовой отчетности и индексы фондов. 

Источники для поиска бенчмарков

Как прогнозировать результаты с помощью предиктов

Прогнозирование результатов — важный этап SEO-аналитики, поскольку после того, как вы определите KPI, необходимо понять к чему стремиться. Для прогноза метрик можно использовать свои собственные наработки, но мы обычно применяем библиотеку для анализа и прогнозирования временных рядов — Prophet. Она выдает меньше ошибок, проста в использовании, позволяет обрабатывать отсутствующие данные, учитывает сложные эффекты, генерирует прогнозы с интерпретируемым разложением на тренд, сезонность и праздники.

Принцип работы библиотеки Prophet

Прогнозировать можно любые метрики, но лучше выбирать показатели с достаточным объемом исторических данных хорошего качества. Чтобы получить максимально точный прогноз, рекомендуем протестировать модель на реальных данных. 

Пример прогноза, построенного с помощью библиотеки Prophet

Эксперименты в SEO: какие используются и как проводятся

В продуктовой аналитике применяются разные методы оценки причинности, среди которых можно выделить четыре основных: A/B-тесты, квази-эксперименты, искусственный контроль (counterfactuals) и описательный анализ. 

Методы исследования в SEO-аналитике

A/B-тестирование

A/B-тесты можно назвать эталоном экспериментов, так как они обеспечивают максимальную точность результатов. Поэтому, если у вас есть возможность провести A/B-тестирование, лучше выбрать именно этот метод исследования.

Алгоритмы A/B-тестирования в SEO несколько отличаются от методики продуктовых экспериментов. Основное отличие заключается в том, что в продуктовых A/B-тестах проводится сегментация пользователей, а в SEO — сегментация страниц. Еще существует модель тестирования на CGI-параметрах, но в докладе мы её касаться не будем, так как используем другой метод.

В SEO-эксперименте необходимо вносить изменения для всех пользователей, но не для всего сайта, поэтому он разбивается на группы страниц. Некоторые методы позволяют проводить A/B-тесты одновременно и на пользователях, и на поисковых роботах, но на практике удобнее делать это по отдельности. 

При проведении A/B-тестирования в SEO можно отслеживать любые метрики, указанные выше, анализировать относительный эффект и динамику p-value — показателя, который помогает понять, является ли статистически значимым проводимый эксперимент. 

Квази-эксперименты

Квази-эксперименты схожи с A/B-тестами, но они не позволяют делать равнозначную выборку, поэтому их используют, когда нет возможности провести тестирование в рамках «истинного» эксперимента. Объекты исследования выбираются на основе существующих социальных, демографических, экономических и других характеристик. Несмотря на более низкую точность результатов, этот метод применяют в SEO, например, в ритейле для проведения экспериментов по разным регионам. 

Искусственный контроль (counterfactuals)

Метод искусственного (синтетического) контроля применяется, когда эксперименты ранее не проводились, и у вас нет данных для сравнения. В этом случае вместо контрольной группы с помощью предиктивной модели создается «синтетический бейзлайн». Исследование начинается с выбора метрик, обучения предиктивной модели на исторических данных до вмешательства. Затем строится прогноз на предстоящий период и сравнивается аккумулятивная разница между прогнозом и фактическим результатом. Эта разница, по сути, и является эффектом. 

Для повышения точности прогноза при проведении исследования методом искусственного контроля рекомендуем использовать библиотеку Google — Causal Impact. Она отлично подходит для SEO-экспериментов, позволяет применять коварианты и более точно прогнозировать результаты, когда нет возможности провести классический A/B-тест, наглядно демонстрирует эффект от внедрения новой функции или инструмента. 

Важно отметить, что аккумулятивный эффект можно посчитать не по всем метрикам. Например, по показателю DAU (Daily Active Users), который отражает количество уникальных пользователей на сайте в течение дня, его определить нельзя. 

Пример применения Causal Impact

Описательный анализ 

Метод описательного анализа применяется в SEO, когда нет контрольной группы и запущенного эксперимента. По сути, такое исследование представляет собой описание маркетинговых активностей, проблем, рынков, потребителей и показывает, каких результатов можно достичь, но не содержит расчетов и обоснований, как это сделать.

Примеры экспериментов в SEO

Приведем несколько примеров из практики, которые помогут понять, как проводятся SEO-эксперименты и как их результаты влияют на бизнес.

Новые мета-теги бизнес сообществ

Проблематика: В социальной сети ВКонтакте существуют бизнес сообщества (БС), title которых совпадает с их названием, метатеги для БС создаются без учета коммерческих интентов, а при отсутствии описания группы не формируется description.

Гипотеза: Генерация метатегов по новым шаблонам позволит увеличить охваты бизнес сообществ по коммерческим интентам и потенциально увеличить CTR с выдачи.

Пример:

для https://vk.com/dodomsk

Было: Додо Пицца Москва

Стало: Официальное сообщество «Додо Пицца Москва» ВКонтакте — доставка еды в Москве

Пример A/B-тестирования в SEO

Какие результаты получили

Как видно из примера, показатель p-value не стремился к нулю ни по одной из метрик, которые характеризовали трафик, но в то же время был нулевым по всем метрикам, которые отражали количество уникальных страниц. То есть по этим метрикам эксперимент оказался статистически значим. 

Кроме того, в Яндексе значительно выросло количество проиндексированных уникальных страниц, и, несмотря на то, что в Google оно несколько снизилось, суммарно мы получили прирост этого показателя. И поскольку эта метрика важна, а эксперимент подтвердил полезность нововведения, мы решили его внедрять. Также мы посчитали SEO и продуктовые метрики и заключили, что генерация метатегов по новым шаблонам окажет положительное влияние на KPI и даст значительный прирост контактирующих в день.

Оценка влияния Index Now

Проблематика: Социальная сеть генерит много новых страниц ежедневно. Существует проблема с индексацией всех страниц. 

Гипотеза: Поддержка Index Now позволит сократить время индексации новых и обновленных страниц до 3–5 минут. Мы сможем отправлять напрямую те страницы, которые по каким-то причинам не были проиндексированы долгое время.

Какие результаты получили

Исследование БС показало, что подключение Index Now дало прирост числа проиндексированных главных страниц на 123,93 %. Прирост трафика на главные страницы БС за этот же период составил 321 %. Исследование товаров также продемонстрировало прирост числа проиндексированных страниц товаров на 14,8 % и прирост трафика на 344 %. 

Однако более глубокий анализ показателей выявил, что трафик вырос в основном за счет новых страниц, а в совокупности по всем бизнес сообществам он даже снизился. Важно отметить, что трафик уже имел нисходящий тренд, но и запуск Index Now не изменил эту тенденцию.

Пример описательного анализ в SEO

Здесь мы могли бы сделать вывод, что подключать Index Now к бизнес сообществам и товарам не имеет смысла, но это было бы ошибкой. Опыт использования этого протокола показал, что его подключение к постам, видео и некоторым другим типам страниц положительно влияет на некоторые метрики, например, прирост MAU составил 10–15%. 

Кроме того, несмотря на противоречивые результаты исследования, подключение Index Now позволило снизить скорость индексации страниц. Так, для сообществ она сократилась с 200–300 мин в среднем до 15 мин, для постов — с 250-400 мин в среднем до 3–5 мин, для видео — с 200–300 мин в среднем до 5 мин.

Этот кейс служит ярким примером описательного анализа, поскольку здесь мы не проводили сегментацию, как в A/B-тестах, а просто сравнивали и оценивали реальные данные.

Новая версия otvet.mail.ru

Проблематика: Необходимо перейти на новую версию otvet.mail.ru без потери органического трафика из поисковых систем. При переезде полностью всего проекта без тестирования есть риск потери значительной части трафика.

Методология исследования: Поскольку из-за специфики проекта проведение классического A/B-тестирования сопровождалось рядом технических сложностей, было принято решение для оценки результата использовать метод Causal Impact Analysis. Он позволяет оценить эффект от изменения путем моделирования поведения ключевой метрики в условиях отсутствия изменений и сравнения результатов моделирования с фактическим результатом. Дробление на группы выполнялось сначала для продукта (250К в каждой группе), затем для SEO (67К в каждой группе). Тестирование проводилось с задвоением.

Пример метода синтетического контроля в SEO

Какие результаты получили

На графике желтой линией показана условная аппроксимация прогноза метрик, который построен с помощью Causal Impact, зеленым и синим — фактические данные. Как видно из примера, количество визитов упало в среднем на 64,5 %, при этом падение показателя вовлеченности оказалось статистически значимым. Также в ходе исследования был зафиксирован рост продуктовых метрик, но по ряду причин, например, из-за снижения органического трафика, этот рост может быть ниже прогнозируемого.