Как работать с исследованиями факторов ранжирования

Откуда берутся данные исследований факторов ранжирования

Цель исследований Лаборатории — увидеть за параметрами сайтов и страниц, которые мы различными правдами и неправдами умеем им приписать, факторы ранжирования, которые используют поисковые машины, формируя выдачу.

Для этого нам, прежде всего, нужно понять, какие характеристики сайтов и страниц могут быть важны для ранжирования, а затем придумать, как их «сосчитать». Сейчас у нас параметров уже больше 600 (хотя, разумеется, не все они фактически являются факторами ранжирования). 

Источники данных

• Наши источники. Большую часть параметров мы «снимаем» со страниц, попавших в результаты поиска, сами. Например, определяем размер HTML-кода, долю в нём текста и ссылок, количество вхождений слов запроса в заголовки h2–h4, наличие счетчика Google Analytics или протокола https, максимальную цену на странице, концентрацию слов запроса и их синонимов в SEO-тексте.

• Внешние сервисы. Значения некоторых параметров мы получаем от самих поисковиков или сторонних сервисов. Например, значения ИКС (а раньше тИЦ), количество страниц в индексе и количество страниц, найденных на сайте, мы узнаем у Яндекса. Количество «шеров» в соцсетях можно узнать ВКонтакте и в «Одноклассниках», а возраст сайта — напрямую на whois-сервисах или косвенно по первому упоминанию на Archive.org. Данные о ссылках мы получаем от MegaIndex, трафиковые и некоторые поведенческие параметры — от SimilarWeb и Alexa.com.

• Экспертные оценки. Большая группа параметров — около ста — основаны на экспертных оценках. Их выставляют наши асессоры, которые для каждой страницы, попавшей в результаты поиска, заполняют специальную анкету. «Ручные» (асессорские) параметры — в основном коммерческие или социальные. Большая часть из них относятся к сайту в целом. Если какие-либо другие страницы с сайта ранее уже были оценены, асессор получает уже почти готовую анкету — ему остается заполнить только строки, относящиеся к конкретной странице. Асессорские оценки есть только для коммерческих сайтов — если асессор оценил сайт как информационный, то на этом заполнение анкеты заканчивается.

Многие асессорские параметры для отдельных страниц дублируются близкими автоматическими параметрами, однако результаты по ним не всегда совпадают. Например, асессор учтет только телефон компании — владельца сайта, а автомат — и телефоны клиентов; поэтому при автоматическом детектировании на сайтах агрегаторов находится больше телефонов вообще и телефонов 8-800 в частности.

Типы параметров

Параметры делятся на бинарные (есть или нет у сайта или страницы какое-то свойство) и числовые. 

Когда речь идет о нескольких результатах поиска (например, о топ-10) и/или о выборке запросов, бинарные параметры удобно указывать в процентах. Например, 31% означает, что для 31% сайтов, попавших на интересующие нас позиции по данной выборке, значение параметра — есть. 

С числовыми параметрами всё немного сложнее: если разброс значений невелик, мы используем средние значения; если он значительный, мы считаем для каждого из запросов медиану, а затем усредняем полученные результаты для всех запросов выборки.

Параметры, у которых несколько значений, мы обычно сводим к бинарным — так с ними гораздо удобнее работать. Например, в нашей асессорской анкете для количества брендов в ассортименте предусмотрены варианты один, несколько или много. Данные из этой строки анкеты мы используем в двух бинарных параметрах: Один бренд (да, если один; нет, если несколько или много) и Много брендов (да, если много; нет, если один или несколько). Есть еще вариант не актуально, который просто выключает учет этой группы параметров для сайта.

Выборки

Мы работаем в  основном с коммерческими тематиками, в которых практически для любого запроса (кроме разве что самых экзотических низкочастотных запросов) найдутся десятки страниц, не  просто очень релевантных, но и специально под него оптимизированных. Для среднечастотных запросов таких страниц сотни, для высокочастотных — тысячи. Поисковым машинам есть из  чего выбрать, и попадание в топ-30 любой из них по конкурентному коммерческому запросу — фактически гарантия высокой релевантности. 

Когда Яндекс (или Google) расставляет результаты поиска по запросу в каком-то порядке, он отдает предпочтение одним релевантным страницам перед другими, тоже релевантными. Почему в топ-30 попали именно эти страницы — а не другие 30 (возможно, не менее достойные), которые мы тоже знаем и  с которыми мы их вполне можем сравнить? Чем отличаются страницы, попавшие на первые позиции, от страниц, замыкающих топ-30? Можно ли увидеть во всём этом закономерности? 

Если взять достаточно большую выборку запросов и для результатов поиска по каждому из  них получить значения каких-либо параметров, то для каждого параметра можно проверить, связаны ли его значения статистически значимо: 

• с позицией в результатах поиска (в пределах топ-30) — в том числе, с попаданием в топ-3 или топ-10; 

• попаданием в топ-30 (в качестве фона можно использовать страницы, попавшие в топ-30 двух других поисковиков). 

Чем больше выборка, тем точнее будут результаты. Но даже для небольших выборок, размером порядка 100 запросов, результаты оказываются статистически значимыми, а большие выборки их в основном подтверждают.

Конечно, от запросов зависит очень многое, и факторы ранжирования могут проявлять себя по-разному в зависимости от них. Значимость одних и тех же параметров на разных выборках запросов может сильно различаться. 

Это может быть связано и с объективными особенностями ранжирования для тех или иных тематик или интентов (намерений пользователя), и с «ландшафтом» сайтов, конкурирующих за место в топе: параметры, с которыми всё хорошо у сайтов с высокой видимостью, будут казаться важными, даже если поисковая машина на них не обращает внимания. Поэтому важно, во-первых, чтобы контрольная выборка запросов была достаточно представительной и разнообразной и, во-вторых, чтобы полученные на ней результаты контролировались по другим выборкам.

Сейчас мы работаем с четырьмя типами выборок:

1. Одна стандартная выборка из 160 коммерческих запросов разных тематик. Она не очень велика и не идеально сбалансирована по тематикам и частоте запросов, но зато мы следим за ней с весны 2015 года, и по ней удобно отслеживать изменения в ранжировании. 

2. Эталонные отраслевые выборки немного большего объема; на их основе в этом году мы подготовили аналитические отчеты по факторам ранжирования в электронной коммерции, финансах, медицине, автомобилях и недвижимости.

3. Много узкотематических выборок — в основном из запросов, по которым продвигаются сайты наших клиентов. Их размер может быть разным, но обычно составляет десятки или сотни запросов. 

4. Сводные выборки из тысяч запросов, которые мы несколько раз в год составляем из тематических выборок в исследовательских целях. Они уже достаточно большие для того, чтобы графики зависимости средних значений параметров от позиции получались гладкими, но, к сожалению, они каждый раз разные, поскольку составляются просто из запросов, оцененных за какой-то период. Можно составлять также сводные выборки по тематикам (например, медицина или мебель), по типам запросов (например, информационные), по регионам, и т. п.