Ошибки в SEO: «Заблокировано в X-Robots-Tag»

Список ошибок

1. 3xx редиректы: Redirection
2. 4xx ошибки: Client Error
3. 5xx ошибки: Server Error
4. GA: индексируемые страницы без трафика
5. GA: максимальный показатель отказов
6. GA: неиндексируемые страницы с трафиком
7. GET-параметры содержат вопросительный знак
8. GSC: индексируемые страницы без кликов
9. GSC: индексируемые страницы без показов
10. GSC: неиндексируемые страницы с показами
11. Hreflang: дубликаты альтернативных URL
12. Hreflang: дубликаты языковых кодов
13. Hreflang: не совпадает языковой код обратных ссылок
14. Hreflang: неверные языковые коды
15. Hreflang: относительные ссылки
16. Hreflang: отсутствует ссылка на текущий URL
17. Hreflang: отсутствуют альтернативные URL
18. Hreflang: отсутствуют обратные ссылки
19. Hreflang: ссылки на неиндексируемые URL
20. Nofollow в Meta Robots
21. Nofollow в X-Robots-Tag
22. PageRank: висячий узел
23. PageRank: отсутствуют исходящие ссылки
24. PageRank: отсутствуют связи
25. PageRank: перенаправление
26. Refresh редирект
27. URL с заглавными буквами
28. URL с метками систем аналитики
29. URL с нежелательными спецсимволами
30. URL с неправильным использованием дефиса
31. Бесконечный редирект
32. Битые изображения
33. Битые страницы
34. Битый редирект
35. Большое время ответа сервера
36. Внешние dofollow ссылки
37. Внешние nofollow ссылки
38. Внутренние nofollow ссылки
39. Гиперссылки HTTPS → HTTP
40. Гиперссылки с пустыми анкорами
41. Дубликаты Description
42. Дубликаты H1
43. Дубликаты Title
44. Дубликаты страниц
45. Дубликаты текста
46. Заблокировано в Meta Robots
47. Заблокировано в Robots.txt
48. Заблокировано в X-Robots-Tag
49. Изображения без атрибута Alt
50. Изображения без атрибута Title
51. Индексируемые AMP-страницы
52. Индексируемые URL с GET-параметрами
53. Канонический URL содержит другой хост
54. Кодированные URL
55. Короткий Description
56. Короткий H1
57. Короткий Title
58. Максимальная длина Description
59. Максимальная длина H1
60. Максимальная длина Title
61. Максимальная длина URL
62. Максимальное количество внешних ссылок
63. Максимальное количество внутренних ссылок
64. Максимальное количество редиректов
65. Максимальный размер HTML
66. Максимальный размер изображения
67. Максимальный размер контента
68. Минимальное соотношение text/HTML
69. Минимальный размер контента
70. Не HTTPS-протокол
71. Неиндексируемый канонический URL
72. Неканонические страницы
73. Неправильный формат AMP HTML
74. Неправильный формат тега Base
75. Несколько заголовков H1
76. Несколько тегов Description
77. Несколько тегов Title
78. Одинаковые Title и Description
79. Одинаковые Title и H1
80. Одинаковые канонические URL
81. Орфографические ошибки
82. Отсутствует микроразметка
83. Отсутствующий или пустой Description
84. Отсутствующий или пустой H1
85. Отсутствующий или пустой Title
86. Отсутствующий или пустой файл Robots.txt
87. Редирект на внешний сайт
88. Редирект, заблокированный в Robots.txt
89. Редиректы HTTPS → HTTP
90. Редиректы с неправильным форматом URL
91. Смешанное содержимое
92. Содержит Flash
93. Содержит Lorem ipsum
94. Ссылки на localhost
95. Ссылки с неправильным форматом URL
96. Страницы без внутренних ссылок
97. Цепочка канонических URL
98. Цепочка редиректов
99. Циклические гиперссылки
100. Эмодзи или спецсимволы в Description
101. Эмодзи или спецсимволы в Title

Важность: средняя

Описание ошибки «Заблокировано в X-Robots-Tag»

Показывает URL, запрещённые к индексации с помощью директивы «noindex» или «none» поля X-Robots-Tag в HTTP-заголовках ответа сервера.

Важность проблемы

Инструкции в заголовке X-Robots-Tag позволяют запретить поисковым системам показывать страницы сайта в результатах поиска, однако поддерживаются не всеми поисковыми системами.

X-Robots-Tag полезен в первую очередь для запрета индексации не HTML-документов, потому что находится в заголовке ответа сервера. Тем не менее, он также может использоваться для HTML-страниц.

Для HTML-страниц не рекомендуется одновременно использовать инструкции Meta Robots и X-Robots-Tag. Если по ошибке в этих настройках появятся разные директивы, важные страницы могут быть удалены из поиска.

Чтобы обеспечить обязательное выполнение директив поисковыми роботами, не следует запрещать в robots.txt сканирование URL, для которых они заданы.

Пути исправления ошибки

Необходимо убедиться, что поисковым роботам разрешено показывать важные документы в поиске, а запрет используется только на неважных.

Если для HTML-страниц одновременно используются директивы в Meta Robots и X-Robots-Tag, важно убедиться, что они совпадают, а ещё лучше — оставить только один из вариантов: метатег или HTTP-заголовок.