Что такое IndexNow и как его использовать? Исследование с примерами

Время прочтения: 9 минут

Тэги: SEO, Яндекс, Optimization,

О чем статья?

• Для чего предназначен IndexNow, как он работает;
• Эксперимент по оценке работы IndexNow с Яндексом;
• Сравнение с инструментом «Переобход страниц» Яндекс.Вебмастера;
• Рекомендации по эффективному использованию инструмента.

Для кого эта статья?

• Оптимизаторов;
• Редакторов сайтов;
• Владельцев малого бизнеса, которые сами занимаются продвижением сайта.

Материал подготовлен на основе выступления SEO-аналитика Devaka.ru, Devaka Talk Сергея Кокшарова в рамках конференции Optimization-2021. Ознакомиться с программой и купить видеозапись докладов можно на сайте конференции.

Новые страницы сайта и обновления старых не сразу появляются в поисковом индексе, потому что поисковые системы не узнают о них моментально. Поисковые роботы просто не успевают так часто заходить на сайты, чтобы немедленно узнавать об обновлениях. Считается, что требуется от нескольких дней до нескольких недель, чтобы робот вновь зашел на уже проиндексированный сайт. Чтобы быстрее актуализировать информацию в поисковиках, SEO-специалисты пользуются различными инструментами самих поисковых систем.

Недавно стал доступен еще один инструмент информирования поисковиков об изменениях на сайте — IndexNow.org. По заявлениям его создателей, он быстро сообщает поисковым системам об обновлениях существующих URL-адресов и появлении новых. После этого поисковики меняют приоритеты обхода этих URL-адресов и быстрее, чем при обычном органическом обходе, обнаруживают новый контент на сайте.

Ожидания от IndexNow

IndexNow.org по сути — независимый протокол проверки связи, который не принадлежит кому-либо из поисковиков, но открыт для сотрудничества с любым из них, кто «имеет заметное присутствие хотя бы на одном рынке» (Источник цитаты — IndexNow.org).

Протокол позволяет отправлять в поисковые системы сразу до 10000 страниц, сообщая им, что эти изменения следует добавить в индекс. По информации на официальном сайте инструмента, поисковые системы моментально узнают об изменениях, в том время как ожидание захода поискового робота обычным порядком может затянуться на несколько дней. На момент написания статьи IndexNow работает с Яндекс и Microsoft Bing. 

Мнение эксперта

Сергей Кокшаров:

«Насколько мне известно, Google, также как Яндекс и Bing, получал предложение работать с IndexNow, но отказался. Причины отказа не сообщались. Возможно, дело в том, что у Google есть свой инструмент Indexing API, который, правда, пока работает не со всеми типами контента. Впрочем, у Яндекса и Bing также есть свои инструменты – Переобход страниц и URL Submission API соответственно. Возможно, их заинтересованность в сотрудничестве связана с тем, что ожидается внедрение IndexNow в CMS. Тогда урлы будут автоматически отправляться в поисковики на сканирование прямо из панелей CMS, исчезнет необходимость в ручном добавлении страниц через панель Яндекс.Вебмастера и аналогичных кабинетов в поисковых системах».

Кроме того, на IndexNow.org заявлено требование интеграции: поисковые системы, использующие данный инструмент, должны немедленно делиться всеми отправленными им URL-адресами со всеми другими поисковыми системами, имеющими API IndexNow. То есть в идеале отправил страницу в  один поисковик = отправил сразу во все.

Но до идеала пока далеко.

Как отправлять страницы на индексацию через IndexNow

Порядок действия для работы с протоколом следующий:

1. Создать файл ключа для подтверждения права собственности на сайт;

2. Разместить файл на сайте одним из двух способов (подробности ниже);

3. Отправить одну страницу или несколько в поисковые системы по методам GET или POST;

4. Дождаться появления страниц в индексе.

1. Нужно верифицировать, что вы являетесь владельцем сайта, для которого отправляете адреса. (Такое же требование существует и в поисковых системах для отправки через их собственные инструменты). Для этого на сайте размещают текстовый файл-ключ определенного формата и передают его в каждом запросе к API.

Название файла ключа должно содержать от 8 до 128 шестнадцатеричных символов, выбранных из следующего перечня: строчные и прописные латинские буквы, цифры и тире. Эти же символы в кодировке UTF-8 составляют текст файла. При каждом получении адресов через IndexNow, поисковик сначала проверит наличие ключа, затем выполнит обход сайта.

2. Разместить файл ключа можно двумя способами:

• Поместить в корневой каталог сайта (предпочтительный способ). 

• Поместить файл ключа в другой каталог. Тогда в каждом уведомлении для поисковиков нужно указывать это местоположение при помощи переменной keyLocation. 

3.1 Для отправки одного URL применяют метод GET:

3.2 Для множественной отправки адресов, в том числе http и https в одном наборе, используют метод POST:

Мнение эксперта

Сергей Кокшаров:

«Работая с продвижением в Яндексе, можно использовать IndexNow вместо инструмента Переобход страниц или вместе с ним. Однако надо понимать, что поисковики не дают гарантий, что страницы сразу пересканируются, попадут в поиск или обновятся в поиске. Яндекс обещает, что постарается скорее посмотреть поданные URL. Сам IndexNow гарантирует только, что сообщит об изменениях на сайте в поисковые системы. В целом, никаких гарантий попадания в индекс нет».