Ошибки в SEO: «Заблокировано в Robots.txt»

Список ошибок

1. 3xx редиректы: Redirection
2. 4xx ошибки: Client Error
3. 5xx ошибки: Server Error
4. GA: индексируемые страницы без трафика
5. GA: максимальный показатель отказов
6. GA: неиндексируемые страницы с трафиком
7. GET-параметры содержат вопросительный знак
8. GSC: индексируемые страницы без кликов
9. GSC: индексируемые страницы без показов
10. GSC: неиндексируемые страницы с показами
11. Hreflang: дубликаты альтернативных URL
12. Hreflang: дубликаты языковых кодов
13. Hreflang: не совпадает языковой код обратных ссылок
14. Hreflang: неверные языковые коды
15. Hreflang: относительные ссылки
16. Hreflang: отсутствует ссылка на текущий URL
17. Hreflang: отсутствуют альтернативные URL
18. Hreflang: отсутствуют обратные ссылки
19. Hreflang: ссылки на неиндексируемые URL
20. Nofollow в Meta Robots
21. Nofollow в X-Robots-Tag
22. PageRank: висячий узел
23. PageRank: отсутствуют исходящие ссылки
24. PageRank: отсутствуют связи
25. PageRank: перенаправление
26. Refresh редирект
27. URL с заглавными буквами
28. URL с метками систем аналитики
29. URL с нежелательными спецсимволами
30. URL с неправильным использованием дефиса
31. Бесконечный редирект
32. Битые изображения
33. Битые страницы
34. Битый редирект
35. Большое время ответа сервера
36. Внешние dofollow ссылки
37. Внешние nofollow ссылки
38. Внутренние nofollow ссылки
39. Гиперссылки HTTPS → HTTP
40. Гиперссылки с пустыми анкорами
41. Дубликаты Description
42. Дубликаты H1
43. Дубликаты Title
44. Дубликаты страниц
45. Дубликаты текста
46. Заблокировано в Meta Robots
47. Заблокировано в Robots.txt
48. Заблокировано в X-Robots-Tag
49. Изображения без атрибута Alt
50. Изображения без атрибута Title
51. Индексируемые AMP-страницы
52. Индексируемые URL с GET-параметрами
53. Канонический URL содержит другой хост
54. Кодированные URL
55. Короткий Description
56. Короткий H1
57. Короткий Title
58. Максимальная длина Description
59. Максимальная длина H1
60. Максимальная длина Title
61. Максимальная длина URL
62. Максимальное количество внешних ссылок
63. Максимальное количество внутренних ссылок
64. Максимальное количество редиректов
65. Максимальный размер HTML
66. Максимальный размер изображения
67. Максимальный размер контента
68. Минимальное соотношение text/HTML
69. Минимальный размер контента
70. Не HTTPS-протокол
71. Неиндексируемый канонический URL
72. Неканонические страницы
73. Неправильный формат AMP HTML
74. Неправильный формат тега Base
75. Несколько заголовков H1
76. Несколько тегов Description
77. Несколько тегов Title
78. Одинаковые Title и Description
79. Одинаковые Title и H1
80. Одинаковые канонические URL
81. Орфографические ошибки
82. Отсутствует микроразметка
83. Отсутствующий или пустой Description
84. Отсутствующий или пустой H1
85. Отсутствующий или пустой Title
86. Отсутствующий или пустой файл Robots.txt
87. Редирект на внешний сайт
88. Редирект, заблокированный в Robots.txt
89. Редиректы HTTPS → HTTP
90. Редиректы с неправильным форматом URL
91. Смешанное содержимое
92. Содержит Flash
93. Содержит Lorem ipsum
94. Ссылки на localhost
95. Ссылки с неправильным форматом URL
96. Страницы без внутренних ссылок
97. Цепочка канонических URL
98. Цепочка редиректов
99. Циклические гиперссылки
100. Эмодзи или спецсимволы в Description
101. Эмодзи или спецсимволы в Title

Важность: средняя

Описание ошибки «Заблокировано в Robots.txt»

Показывает URL, запрещённые к сканированию с помощью инструкции Disallow в файле robots.txt.

Важность проблемы

Файл robots.txt позволяет запретить поисковым роботам сканировать определённые страницы сайта — следовательно, они не будут участвовать в поиске.

Зачастую с помощью файла robots.txt закрывают неважные для поиска страницы (например, страницы внутреннего поиска, корзины, регистрации и т.д.) для экономии ресурсов робота на их сканирование.

Если на сайте много ссылок на закрытые от сканирования URL, полезные страницы могут получить меньше ссылочного веса, потерять позиции в поиске и, соответственно, трафик.

Пути исправления ошибки

Необходимо, чтобы важные страницы сайта были открыты для сканирования поисковыми роботами.

Также рекомендуется уменьшить количество ссылок на закрытые от сканирования страницы.

Однако если ссылки полезны для навигации пользователя по сайту (например, на страницу корзины или регистрации), не стоит их убирать.