20 вариантов ускорения индексации сайта в Google

Многие SEO-специалисты в своей практике сталкивались с нежеланием поисковых систем индексировать те или иные страницы сайта, при этом в 90% случаев причины этих проблем бывают банальны: случайное закрытие страниц в robots.txt, запрет индексации через meta robots, некорректные канониклы и тому подобные варианты.

Однако, мало только лишь найти и устранить причину некорректной индексации. После ее устранения необходимо как можно скорее отправить на переиндексацию важный контент и удостовериться в том, что сайт и интересующие страницы стали индексироваться.

В этой статье мы поделимся всеми найденными вариантами индексации страниц в поисковой системе Google.

Способы ускорения индексации в Google

1. Google Search Console (GSC)

Самый распространенный способ индексации / переиндексации страниц в «ручном» режиме через панель вебмастера Google.

Страницы индексируются быстро (от нескольких секунд до появления в поиске), однако, работа происходит в постраничном режиме + необходимо время на сканирование страницы поисковым ботом, поэтому данный способ является эффективным, но не самым удобным, так как нельзя загрузить сразу список из группы URL и отправить на массовую индексацию.

2. Sitemap.xml

Использование XML карты сайта является классическим методом ускорения индексации новых страниц. Реализуется это через указание гиперссылки на файл карты сайта Sitemap.xml в файле Robots.txt (само собой, перед этим необходимо создать сам файл Sitemap.xml).

Обычно этого бывает вполне достаточно для любого типа сайта.

Для создания карты сайта существует множество различных плагинов на популярных CMS, также ее можно создать при помощи одного из веб- или десктопных краулеров, например, через бесплатный SiteAnalyzer.

3. Пингование Sitemap.xml

Пингование заставляет поискового робота сделать оперативный переобход вашего Sitemap.xml. Это своеобразный аналог добавления сайтмап в Google Search Console. Таким образом, мы отправляем Google дополнительный сигнал о необходимости переобхода карты сайта, что, тем самым, ускоряет вероятность индексации страниц (однако, не факт, что бот их сразу рванется обходить).

Ссылки для пингования сайтмап в Google и Bing:

• Google: http://google.com/webmasters/tools/ping?sitemap=https://site-analyzer.ru/sitemap.xml
• Bing: https://www.bing.com/ping?sitemap=https://site-analyzer.ru/sitemap.xml

4. Установка 301 редиректа со страниц трафикового сайта

Данное решение позволяет частично перенести статический вес и трафик с качественного сайта на сайт, для которого требуется большее внимание поисковых ботов, либо есть проблемы с его индексацией.

Я ставил редирект со страницы «Новости» сайта с хорошим трафиком на аналогичную страницу сайта, у которого были проблемы с индексацией. Редирект был «учтен» Google уже на второй день и страница сайта-донора исчезла из индекса гугла.

После того, как страница сайта-акцептора будет проиндексирована, редирект можно убирать.

5. Удаление сайта из Вебмастера Google и добавление сайта заново

Идея была в том, чтобы поисковик обратил «внимание» на сайт и, тем самым, снова прошелся по страницам.

Эксперимент не сработал, так как при повторном добавлении проекта в нем сразу отображался robots.txt и другие ранее примененные настройки – видимо при удалении сайт просто скрылся из списка, а потом при повторном «добавлении» его отобразили снова.

6. Полное закрытие сайта от индексации

Закрываем сайт от Google в robots.txt для полной деиндексации.

На момент тестирования в индексе болталась «первая» версия страницы с WWW и без сохраненной копии (молодой сайт). На обнаружение обновленной версии robots.txt Google понадобилось 1-2 часа. Через 2 дня единственная ранее проиндексированная страница исчезла из индекса. У сайта осталось 0 страниц в поиске гугла.

После полной деиндексации был открыт robots.txt для бота Google.

Однако, судя по логам, бот как заходил один раз в день, так один раз в день заходить и продолжил. По большому счету частота посещений сайта ботом Google не поменялась.

7. Добавление рекламы в Google AdSense

Обычно, если сайт не проходит модерацию в Google AdSense, то в личном кабинете появляется список возможных причин, почему не приняли сайт (проверка занимает до двух недель, у меня это заняло полторы). Данная информация может помочь с определением причин, что не так с сайтом.

Что в общем-то и произошло – сайт не приняли с пометкой «малополезный контент».

Не думаю, что низкий уровень индексации сайта был связан именно с этим. Но, по крайней мере, мы получили более-менее толковый ответ, который может пригодиться в другой раз (например, для определения санкций, наложенных на сайт).

8. Переобход через Google Translate

Данный метод основан на предположении о том, что «прогоняя» страницы через сервисы Google, мы обращаем на них дополнительное внимание поисковых ботов.

Вставляем URL сайта в Google переводчик, переходим по ссылке с переводом страницы, скрещиваем пальцы и надеемся на чудо.

В моем случае чуда не произошло.

9. «Льем» трафик из соцсетей и Телеграм

Для ускорения индексации сайта можно делиться публикациями в социальных сетях (Twitter, Facebook, Linkedin и т.п.), либо путем размещения постов в Telegram (по сути, это тоже самое, что и привлечение трафика с соцсетей, однако происходит путем размещения ссылок на сайт из рекламных постов на тематических каналах).

На текущий момент ссылки с соцсетей не индексируются поисковыми системами и не учитываются в ранжировании, поэтому данный вариант ускорения индексации сайта скорее всего будет не эффективен, однако, это может привлечь на сайт «живой» трафик, за счет которого поисковые боты станут заходить на него чаще и индексировать больше контента.

10. Трафик из контекста

Создаем рекламные кампании в Google AdWords и «льем» трафик на посадочные страницы для более быстрой их индексации, чтобы поисковые боты чаще посещали страницы сайта, увеличивая, тем самым, вероятность их индексации.

11. Проверка оптимизации для мобильных в Google Search Console

Используем страницу тестирования мобильной версии сайта для указания боту о новых страницах: https://search.google.com/test/mobile-friendly/result?id=28OJNYqIhMMT4grjojk-uw

Опять же, гипотеза о том, что посылая Google дополнительный сигнал для переобхода страниц сайта через инструмент тестирования мобильной версии, он обратит на сайт более пристальное внимание. Однако не уверен, что это дает хоть какой-то ощутимый результат.

12. Трафик из Pinterest

Pinterest является популярной контентной площадкой на западе, что делает его привлекательным не только для посетителей, но и для ботов поисковых систем. На нем постоянно «обитают» поисковые боты, особенно бот Google, поэтому путем несложного создания пинов, можно направить бота Google на интересующие страницы сайта.

В моем случае это не дало результатов.

13. Прогон через массовые индексаторы, основанные на вкладках браузера Google Chrome

На сколько я знаю, если эта тема когда-то и работала (сервис IndexGator и его аналоги), то сейчас она абсолютно мертва.

Да и по логам сервера – после подобной индексации робот на сайт не заходил.

14. Создание Sitemap.txt

Файл Sitemap.txt является упрощенным вариантом карты сайта Sitemap.xml. По сути, это все тот же список URL сайта, но без указания дополнительных атрибутов (lastmod, priority, frequency).

https://mysite.ru/
https://mysite.ru/page-1/
https://mysite.ru/page-2/
https://mysite.ru/page-3/
https://mysite.ru/page-4/
https://mysite.ru/page-5/

Данный вариант менее распространен, чем обычный Sitemap.xml, но, тем не менее, при добавлении ссылки на него в robots.txt, боты начинают его сканировать не менее охотно, чем обычный сайтмэп.

15. Внутренняя перелинковка

Ускорение индексации за счет проставления ссылок на новые страницы сайта с «хабовых» страниц (страницы с большим трафиком / весом).

Обычно для этого пишется скрипт, который берет пачки непроиндексированных ссылок из заранее подготовленного списка и размещает их на особо посещаемых страницах. После индексации страниц размещается следующий блок ссылок, и так далее. Индексация проверяется через различные сервисы либо через API Google Webmaster Tools.

16. Наращивание внешней ссылочной массы

Google признает, что страницы заслуживают доверия, если на них ведут ссылки с авторитетных сайтов.

Наличие обратных ссылок говорит Google о том, что страницы являются важными и их следует проиндексировать.

Таким образом, наращивая качественную внешнюю ссылочную массу на продвигаемые страницы и на сайт в целом можно сигнализировать Google о том, что данному сайту необходимо больше уделять внимания и чаще краулить контент.

17. Креативный метод при помощи Flickr (от Виктора Карпенко)

Создаем аккаунт на фотохостинге Flickr, заливаем туда кучу фотографий (тысячи, а лучше десятки тысяч) – фото берем не важно откуда, можно даже использовать другие фотохостинги, Инстаграм и т.п.

Под каждым фото пишем, что при использовании фото нужно ставить обратную ссылку на продвигаемый вами сайт (не забываем упомянуть его URL).

В результате можно бесплатно получать трафик и десятки ссылок ежемесячно с хороших сайтов и СМИ.

Примечание. Пример больше относится к линкбилдингу, но также и позволяет направить трафик на определенные страницы вашего сайта и тем самым улучшить их индексацию.

18. Индексация при помощи Google Indexing API

Выжимка инструкции для PHP с серча от пользователя Махмуд Аббас:

• Регистрируем сервисный аккаунт в Гугл Клауд, получаем ключ доступа (файл json), даем права сервисного аккаунта на серчконсоль, включаем API в гуглклауде.
• Создаем скрипт на PHP, из которого будут добавляться УРЛы в индекс.
• Качаем с Гитхаба клиент для работы с апи: https://github.com/googleapis/google-api-php-client
• Код для пакетного добавления запросов:

require_once '/_google-api-php-client/vendor/autoload.php';

$client = new \Google_Client();

$client->setAuthConfig('/_google-api-php-client-php70/blablabla-777c77777777.json'); // путь к json файлу, полученному при создании сервисного аккаунта

$client->addScope('https://www.googleapis.com/auth/indexing');

$client->setUseBatch(true);

$service = new \Google_Service_Indexing($client);

$batch = $service->createBatch();

foreach ($links as $link) // список ссылок
{
  $postBody = new \Google_Service_Indexing_UrlNotification();
  $postBody->setUrl($link);
  $postBody->setType('URL_UPDATED');
  $batch->add($service->urlNotifications->publish($postBody));
}

$results = $batch->execute();

print_r($results);

• В ответ $batch->execute() присылает массив по количеству ссылок в запросе (если в ответе есть \Google\Service\Exception, то код 429 – превышение лимита, 403 – проблемы с ключом доступа или включением api, 400 – кривые данные).
• Ссылка на описание ошибок: https://developers.google.com/search/apis/indexing-api/v3/core-errors?hl=ru#api-errors
• Не забываем связать аккаунт API с консолью гугла + выставить себя владельцем (Owner), иначе скрипт не будет работать (в массиве будет приходить ошибка 404, что нет доступа для индексации сайта – Permission denied. Failed to verify the URL ownership).

Примечание: на написание скрипта у меня ушло ~40 минут, включая время на мелкие «затыки» и гугление ошибок.

Дополнительная информация:

• Более подробное описание по использованию Google Indexing API от SiteClinic – https://siteclinic.ru/blog/seo-instrumenty/indexing-api/
• Мини-исследование по ускорению индексации страниц через Google Indexing API от Айрата.

19. Блокировка доступа Гуглботу (кейс Владимира Вершинина)

Ссылка на диапазон IP-адресов гуглоботов: https://developers.google.com/search/apis/ipranges/googlebot.json

20. Написать Джону Мюллеру

Написать в Твиттер Джону Мюллеру, описать свою проблему, скрестить пальцы и ждать ответа.

В моем случае это не сработало, мне никто не ответил, новых страниц в индексе не появилось. Странно, конечно, ну и ладно.

Но, кто знает, возможно вам повезет )

***

Похоже, больше не осталось известных вариантов ускорения индексации как новых, так и старых страниц. Однако, если вдруг я что-то упустил, прошу поделиться собственными кейсами и примерами в комментариях – с удовольствием дополню ими статью.

P.S. Для полного охвата темы стоит упомянуть относительно новую возможность массовой индексации страниц через IndexNow (открытое API с возможностью добавления в индекс поисковых систем до 10 000 страниц в день). В настоящее время поддерживаются поисковые системы Яндекс и Bing. Возможно, что присоединение поисковой системы Google к данной технологии не за горами, хотя, если уже сейчас у технологии возникла небольшая армия критиков, кто знает, получит ли она развитие в будущем.

Другие статьи:

• 11 актуальных сервисов и бирж для крауда в 2023
• Использование нейросетей в SEO на примере OpenAI GPT-3
• Прогнозы по SEO на 2023 год для Google