Ссылочное ранжирование и опорные каталоги

Внешние динамические факторы (ссылочное ранжирование)

Ссылочное ранжирование, или поиск по лексике ссылок, является, пожалуй, самым интересным из критериев, оказывающих влияние на ранжирование документов в результатах поиска. Именно ссылочное ранжирование является причиной многих скандалов вокруг поисковых систем, связанных с выдачей поисковыми системами известных сайтов в ответ на запросы по оскорбительным, нецензурным или близким к таковым выражениям. Среди "пострадавших", например, сайты Microsoft, Александра Лукашенко и "Союза Правых Сил". Именно результаты действия ссылочного ранжирования вызывают у людей, далеких от оптимизации, стандартный вопрос: "почему мне выдается страница, на которой нет ни одного слова из запроса?" Итак, давайте разберемся.

Ссылочное ранжирование - влияние текста ссылок на документ на релевантность этого документа запросу. То есть, если слова из запроса встречаются в тексте ссылки на документ с другого документа, то это повышает его релевантность данному запросу.

При введении этого фактора ранжирования в алгоритм поисковой системы разработчики руководствовались соображением, что если кто-то ссылается на страницу каким-либо текстом, то, значит, с большой долей вероятности можно быть уверенным, что эта информация содержится на странице, и чем больше таких ссылок, тем выше эта вероятность. А если страница, на которую ссылаются, популярна у многих пользователей, т.е. "авторитетна"? Тогда соответствие содержания страницы тексту ссылки должно быть еще более вероятным - авторитетный сайт "плохого" не порекомендует. Значит, логично ввести зависимость от показателей "авторитетности" страницы. Рассмотрим переменную
Lа(x) из первой формулы где

• PRi - показатель авторитетности страницы i, константа относительно запроса х,
• f(PRi) - некая неубывающая функция от PRi, для простоты можно принять ее линейной, т.е. f(PRi) = k PRi, где k - некий коэффициент,
• Lаi(x) - релевантность запросу x ссылок со страницы i на страницу а, если в тексте ссылки нет ни одного слова из запроса, то Lai(x) = 0. Максимальное значение функция Lai(x) принимает, если в тексте ссылки встречается точное вхождение поисковой фразы.

Вернемся к нашей первой формуле:

Rа(x)=(mTа(x)+pLа(x)) F(PRа).

Из нее видно, что на величину итогового соответствия кода страницы запросу Rа(x) оказывает влияние произведение величин Lа(x) и F(PRа).

Таким образом, величина эффекта от ссылочного ранжирования на релевантность страницы запросу напрямую зависит от 3 параметров:

• релевантности текста ссылок запросу;
• "авторитетности" страницы;
• "авторитетности" ссылающейся страницы;

Зачастую при анализе позиций сайта в выдаче бывает трудно выделить влияние именно ссылочного ранжирования. Однако хорошо виден его эффект в "крайних" случаях, т.е. когда влияние остальных факторов крайне мало.

Случай первый, примеры которого я приводил, начиная рассказывать о ссылочном ранжировании (случаи с сайтами Microsoft, Лукашенко, Союза Правых Сил). Тогда эти ресурсы появились на высоких позициях по определенным запросам в поиске за счет нескольких текстовых ссылок с форумов, домашних страничек или гостевых книг. В данном случае подобного текста не было на страницах, влияние внутренние динамические факторы не могли оказать, т.е. Tа(x) = 0; ранг ссылающихся страниц с релевантным запросу текстами ссылок был близок к нулю, т.е. значение Lа(x) довольно мало; однако за счет довольно высокого собственного ранга документа, на которую ведет ссылка, а, следовательно, довольно высокого значения функции F(PRа), получившееся в итоге значение Rа(x) было достаточно для того, чтобы данный документ был лидером выдачи. Соответственно, несколько ссылок с искомым текстом, ведущие на страницу с большим собственным рангом, могут дать очень существенный эффект. Для борьбы с подобным эффектом поисковые машины вводят ограничение на функцию f(PRi):

f(PRi) = 0, если PRi < M,

где М - константа, некое пороговое значение. То есть ссылки с документом с довольно низким рангом не учитываются при ссылочном ранжировании. Подобное ограничение, вполне возможно, действует во всех рассматриваемых в данной статье поисковиках. Также поисковые машины могут накладывать по той или иной причине ограничения на отдельные документы и даже сайты и вовсе не учитывать ссылки с них при ссылочном ранжировании, также как и при расчете ранга документов, на которые они ссылаются ("непот-фильтр" в Яндексе, "PR-пенальти" в Google)

Другой крайний случай - это когда на страницу без искомого текста и небольшим рангом ссылается текстом страница с рангом высоким. В этом случае внутренние динамические факторы влияния не оказывают, т.е. Tа(x) = 0; "авторитетность" страницы, на которую ссылаются, мала, поэтому влияния практически не оказывает, т.е. F(PRа) имеет значение близкое к 1; ранг документа, ссылающегося на данный документ текстом, релевантным запросу, очень высока, т.е. значение Lа(x) довольно велико. В итоге страница, получившая такую ссылку, может получить неплохое значение Rа(x) и занять высокие позиции в результатах поиска по запросам, слова из которых содержатся в тексте ссылки.

Особо хочу пояснить один момент, из-за которого ссылочное ранжирование в плане повышения релевантности документа запросу намного привлекательнее внутренних факторов. Дело в том, что функция Tа(x), зависящая от внутренних факторов, имеет максимум, достигаемый при некотором "идеальном" наборе своих параметров (каждый из которых у конкретного поисковика свой).

Функция ссылочного ранжирования Lа(x), в отличие от фунции Tа(x), такого экстремума не имеет, так как любое появление новой содержащей ключевую фразу ссылки на страницу, будет увеличивать ее значение.

Поэтому время и силы, которые можно затратить для нахождения идеального набора значений для внутренних факторов (который, кстати, может довольно часто изменяться вследствие действий администраций поисковых машин, постоянно работающих над "улучшением качества поиска"), что, по сути, является сложной задачей многокритериальной оптимизации, лучше с гораздо большей эффективностью потратить на организацию новых ссылок на страницы сайта с текстами, содержащим необходимые ключевые слова.

Очень важным моментом, о котором, однако, часто забывают, является то, что ссылочное ранжирование работает и внутри одного домена. Хотя, возможно, и с некоторыми понижающими коэффициентами. Иногда приходится сталкиваться с заблуждением, что ссылочное ранжирование должно поднимать релевантность любой из страниц сайта в выдаче по запросу, текст которого содержится в запросе. Это не так. Ссылочное ранжирование действует на конкретные страницы - те, на которые указывают ссылки.

Это была общая теория. Рассмотрим особенности реализации ссылочного ранжирования в конкретных поисковых машинах.

Рамблер был последней из рассматриваемых нами поисковых машин, которая ввела учет ссылочного ранжирования. Это произошло весной 2003 года, и механизм его реализации пока мало изучен.

Апорт, как мы уже говорили, учитывает не более одной ссылки с каждого домена второго уровня. Особенностью является тот факт, что в зависимости от запроса алгоритм может использовать различные ссылки.

Google учитывает не более 8 первых слов из текста ссылки, причем предлоги и междометия тоже будут считаться словами. Также хочу напомнить, что Google не учитывает морфологию. Вторая же отличительная особенность Google состоит в использовании им атрибута alt тэга img в качестве текста ссылки, если таковой является картинка. Хочу сразу предупредить вас о последствиях использования однопиксельных картинок с непустым значением атрибута alt для воздействия на ссылочное ранжирование - это считается поисковым спамом и наказывается.

Яндекс ограничения на длину ссылки, по нашим наблюдениям, не накладывает, но у него есть другие ограничения по учету текста ссылок при ссылочном ранжировании. Во-первых, как я уже говорил, существует "непот-фильтр", ссылки со страниц, на которые он установлен, учитываться не будут. Во-вторых, кроме порога, накладываемого на ранг документа, существует еще один, не менее интересный порог, о котором говорил руководитель отдела поисковых систем Яндекса Илья Сегалович. При вычислении релевантности запросу ссылок на страницу вычисляется соотношение между количеством ссылок с релевантным запросу текстом к общему количеству ссылок на страницу. И если это соотношение ниже определенного порогового значения, то эти ссылки не учитываются. Подобная ситуация исправляется обычно небольшим количеством новых ссылок с точным вхождением текста запроса. Причины введения этого ограничения понятны. Если из 100 опрошенных 99 человек сказали, что видят на картинке морковку, а 1 - арбуз, то вряд ли стоит доверять его мнению.

И последнее. Документы, найденные за счет лексики ссылок и не имеющие на странице слов запроса, в результатах поиска вместо обычной подписи "строгое соответствие" обозначаются "найдено по ссылке". И если при этом не выводится описание из Яндекс-Каталога, то тут же вы увидите и надпись "текст ссылок:" со сниппетами (выдержками) из текста ссылок на страницу.

Остается добавить, что для того, чтобы добиться хороших результатов в ранжировании по средне- и высококонкурентным запросам использование ссылочного ранжирования обязательно. И основная проблема для оптимизатора - при работе по установке внешних ссылок на страницы своего сайта, о которой говорилось в разделе, посвященном статическим факторам, договориться с владельцами других ресурсов об установке текстовых ссылок с текстом, релевантным целевым запросам, по которым продвигается сайт, или найти ресурсы, позволяющие свободно добавлять свои ссылки.

Влияние собственных ресурсов поисковых машин

Под собственными ресурсами подразумеваются самостоятельные сервисы поисковых систем, оказывающие влияние на ранжирование сайтов в результатах поиска. Для рассматриваемых нами поисковых систем Яндекс, Апорт и Google - это их каталоги и рейтинг Rambler Top100 для Рамблера. Появление этих ресурсов было обусловлено, прежде всего, необходимостью повысить качество поиска. Описания для сайтов в этих каталогах составляются профессиональными модераторами, заинтересованными в предоставлении максимально точной информации. В случае с Top100, хотя авторство описаний и принадлежит владельцам ресурсов, за них, по замыслу, голосуют сами пользователи своими посещениями ресурса. Исходя из этого, у поисковых систем имеется высокая степень доверия к собственным ресурсам и, как следствие, влияние их на ранжирование очень высоко.

Яндекс-Каталог (http://yaca.yandex.ru). Сразу хочу заметить, что влияние каталога на результаты поиска Яндекса очень велико, что делает попадание на первые страницы по наиболее конкурентным запросам практически невозможным, если в каталожном описании документа нет точного вхождения поисковой фразы.

В Яндекс-Каталоге ресурсы описываются достаточно большим количеством характеристик:

• название ресурса;
• его описание;
• тема, т.е. основная категория каталога, в которой он находится;
• регион;
• сектор экономики;
• степень достоверности (источник) информации;
• потенциальная аудитория (адресат информации);
• жанр (художественная литература, научно-техническая литература);
• цель ресурса (предложение товаров и услуг, интернет-представительство).

Большинство этих характеристик служат лишь для организации навигации в каталоге. Каталог имеет фасетную структуру, т.е. описание сайта может располагаться одновременно в нескольких местах - прежде всего в своей категории, а также в уточняющих подкатегориях (регион, сектор экономики, степень достоверности информации, адресат информации, жанр и цель ресурса).

На результаты же поиска влияние оказывают только название ресурса и его описание. Действуют они по схеме ссылочного ранжирования, только в качестве ранга (в данном случае - ВИЦ) ссылающейся страницы используется установленный для каталога коэффициент. Вполне возможно, что этот коэффициент может зависеть от рубрики каталога, от положения сайта в своей рубрике или даже вручную выставляться документу модератором каталога. При расчете ВИЦ документа, судя по всему, факт наличия его в каталоге, не учитывается. Особое внимание я хочу обратить на тот факт, что хотя описание ресурса в каталоге Яндекса ссылкой не является, учитывается оно именно как ссылка при ссылочном ранжировании. Правда, гораздо меньше, чем ссылка-название: видимо, для описания существует некий понижающий коэффициент.

В случае, если слова из поисковой фразы отсутствуют в тексте документа, но присутствуют в названии или описании его в Яндекс-каталоге, в выдаче по этому запросу приводятся каталожное название и описание документа.

Существуют два варианта регистрации в каталоге: бесплатная и платная "ускоренная", стоимость которой составляет $149 для коммерческих и $49 для некоммерческих сайтов (без учета НДС). При ускоренной регистрации ваш сайт может быть внесен в каталог в течение 3 дней, при бесплатной - может, никогда и не будет. Модераторы каталога самостоятельно отбирают ресурсы, и даже если заявка не подавалась, ресурс может оказаться в каталоге. Как утверждают представители Яндекса, ресурсы отбираются по принципу интересности и уникальности информации, а также по цитируемости другими сайтами.

В случае бесплатного добавления данные из формы бесплатной заявки являются не более чем рекомендацией модераторам. В случае, если описание вашего ресурса, сделанное модераторами каталога, вас по каким-либо причинам не устраивает, то вы можете подать заявку на изменение описания. Эта услуга платная и стоит $40 для любого ресурса. Этот способ можно использовать для того, чтобы добиться появления в заголовке или описании нужных вам ключевых фраз, а следовательно, улучшить ранжирование ресурса в основном поиске по этим фразам. Однако пользоваться этой возможностью надо весьма осторожно, и при этом надо суметь аргументированно убедить модераторов каталога в том, что эти изменения действительно необходимы.

Апорт-Каталог во многом схож с каталогом Яндекса, но, пожалуй, в несколько меньшей степени оказывает влияние на результаты поиска. Действие каталожного листинга также происходит по схеме ссылочного ранжирования, однако помимо названия и описания, учитывается и список ключевых слов, задающийся при регистрации, но не отображаемый в каталоге.

Ресурсы могут заноситься одновременно в несколько категорий каталога, при условии соответствия их содержанию.

Еще одной особенностью можно назвать тот факт, что в результатах поиска Апорта для главных страниц сайтов, присутствующих в каталоге, всегда выводится название и описание ресурса именно из каталога.

Регистрационные данные для каталога подаются одновременно с регистрацией в поисковой системе (http://catalog.aport.ru/rus/reg/add.ple). При включении ресурса в каталог на указанный при регистрации почтовый адрес высылается уведомление.

Rambler Top100 (http://top100.rambler.ru). Из всех собственных ресурсов поисковых систем, рассматриваемых нами, в рейтинг Top100 изначально попасть легче всего - регистрируетесь, размещаете код счетчика на странице - и вот вы в рейтинге. Правда, если регистрируется первый счетчик для данного домена, вполне возможно, что придется пройти модераторскую проверку. Сам по себе рейтинг может дать неплохой трафик, но только при условии, что у страницы, для которой зарегистрирован счетчик, достаточно высокая посещаемость, позволяющая занять высокие места на первой странице популярной рубрики рейтинга. Еще немного посетителей можно получить с поиска по самому Top100. Но нас интересует возможность попадания документа, зарегистрированного в Top100, в результаты поиска по основной базе. Это возможно благодаря так называемой "примеси".

Примесь - это несколько позиций в результатах поиска Рамблера по определенному запросу, ссылки для которого выбираются из заголовков и описаний ресурса, данных при регистрации в рейтинге Rambler Top100, релевантных этому запросу (т.е. содержащих слова из запроса). Сайты из примеси в результатах поиска можно отличить по свежей дате индексации (чаще всего это текущая дата) и отсутствию ссылки "Восстановить текст". Причем, один и тот же документ может присутствовать в выдаче дважды, если текст самого документа релевантен запросу и если его заголовок или описание в Top100 релевантно запросу, и этот документ, благодаря этому, попал в примесь, и оба этих результата никак не связаны между собой.

В работе с примесью есть очень приятный момент - изменения в описании вступают в силу уже на следующий день. Если быть точнее, то не всегда на следующий (это можно определить по дате индексации), но в любом случае несоизмеримо быстрее, чем обычно при индексации. Вы меняете описание вечером, а уже после полуночи ваш сайт может оказаться в основной выдаче Рамблера.

Одно время примесь играла исключительно важную роль в ранжировании результатов поиска Рамблера, так как ей было отведено до 5 первых мест в результатах поиска. Так как на попадание в примесь довольно сильное влияние оказывала посещаемость ресурса, то это привело к тому, что многие владельцы стали "накручивать" посещаемость своих сайтов, ведь, зачастую, это был очень эффективный путь попасть в первую пятерку результатов поиска по нужному запросу. Однако с июня 2003 года жесткое закрепление за примесью первых пяти позиций было снято и она "размазалась" по всей выдаче, причем таким образом, что встретить на первой странице результатов поиска по довольно конкурентным запросам документ из примеси теперь очень сложно. Поэтому позиционирование ресурса в Рамблере через примесь практически потеряло свое прежнее значение.

Каталог Google (http://www.google.com/dirhp). Построен на основе каталога ODP - Open Directory Project (http://dmoz.org). Это крупнейший модерируемый каталог в интернете и практически единственный путь для попадания в каталог Google. ODP интересен еще и тем, что редакторами в нем являются волонтеры, т.е. люди, для которых это занятие является хобби. При желании редакторами в этом каталоге можете стать и вы.

Ресурсы в каталоге Google сортируются по PageRank и имеют название и описание, причем название является текстовой ссылкой. По сравнению с влиянием каталогов Яндекса и Апорта, влияние каталога Google можно назвать менее значительным. Влияет лишь заголовок ресурса, который собственно и является обычной текстовой ссылкой, и влияние это целиком укладывается в схему ссылочного ранжирования.

Еще одним небольшим аргументом за регистрацию в каталоге служит наличие в результатах поиска под ссылкой на ресурс ссылки на категорию каталога и части каталожного описания, что может положительно повлиять на решение пользователя перейти по этой ссылке.

Я не привожу ссылки на форму добавления в каталог, потому что ресурсы добавляются именно в том разделе, в котором им предстоит находиться. Найдите подходящую для вас категорию и перейдите по ссылке "Submit a Site" внизу документа.

В заключение темы о факторах, влияющих на ранжирование документов в поисковых системах, хочется добавить, что на практике для достижения хороших результатов при позиционировании по низкоконкурентным запросам бывает достаточно влияния хотя бы одного из них, например, релевантного текста даже при невысоких показателях "авторитетности" страницы. По самым же конкурентным запросам может потребоваться "массированное" применение всего "арсенала" оптимизатора в течение большого временного отрезка, и не факт, что результат будет достигнут. Поэтому изначально при работе над проектом необходимо определиться с направлениями, т.е. запросами, которым будет отдано приоритетное значение. Об этом пойдет речь в одном из последующих докладов данной секции.

Автор выраж

ает благодарность сотруднику департамента интернет-маркетинга

компании "Текарт Компьютер" Евгению Есипову за помощь в работе над данным докладом.