Ошибки в SEO: «Отсутствующий или пустой файл Robots.txt»

Список ошибок

1. 3xx редиректы: Redirection
2. 4xx ошибки: Client Error
3. 5xx ошибки: Server Error
4. GA: индексируемые страницы без трафика
5. GA: максимальный показатель отказов
6. GA: неиндексируемые страницы с трафиком
7. GET-параметры содержат вопросительный знак
8. GSC: индексируемые страницы без кликов
9. GSC: индексируемые страницы без показов
10. GSC: неиндексируемые страницы с показами
11. Hreflang: дубликаты альтернативных URL
12. Hreflang: дубликаты языковых кодов
13. Hreflang: не совпадает языковой код обратных ссылок
14. Hreflang: неверные языковые коды
15. Hreflang: относительные ссылки
16. Hreflang: отсутствует ссылка на текущий URL
17. Hreflang: отсутствуют альтернативные URL
18. Hreflang: отсутствуют обратные ссылки
19. Hreflang: ссылки на неиндексируемые URL
20. Nofollow в Meta Robots
21. Nofollow в X-Robots-Tag
22. PageRank: висячий узел
23. PageRank: отсутствуют исходящие ссылки
24. PageRank: отсутствуют связи
25. PageRank: перенаправление
26. Refresh редирект
27. URL с заглавными буквами
28. URL с метками систем аналитики
29. URL с нежелательными спецсимволами
30. URL с неправильным использованием дефиса
31. Бесконечный редирект
32. Битые изображения
33. Битые страницы
34. Битый редирект
35. Большое время ответа сервера
36. Внешние dofollow ссылки
37. Внешние nofollow ссылки
38. Внутренние nofollow ссылки
39. Гиперссылки HTTPS → HTTP
40. Гиперссылки с пустыми анкорами
41. Дубликаты Description
42. Дубликаты H1
43. Дубликаты Title
44. Дубликаты страниц
45. Дубликаты текста
46. Заблокировано в Meta Robots
47. Заблокировано в Robots.txt
48. Заблокировано в X-Robots-Tag
49. Изображения без атрибута Alt
50. Изображения без атрибута Title
51. Индексируемые AMP-страницы
52. Индексируемые URL с GET-параметрами
53. Канонический URL содержит другой хост
54. Кодированные URL
55. Короткий Description
56. Короткий H1
57. Короткий Title
58. Максимальная длина Description
59. Максимальная длина H1
60. Максимальная длина Title
61. Максимальная длина URL
62. Максимальное количество внешних ссылок
63. Максимальное количество внутренних ссылок
64. Максимальное количество редиректов
65. Максимальный размер HTML
66. Максимальный размер изображения
67. Максимальный размер контента
68. Минимальное соотношение text/HTML
69. Минимальный размер контента
70. Не HTTPS-протокол
71. Неиндексируемый канонический URL
72. Неканонические страницы
73. Неправильный формат AMP HTML
74. Неправильный формат тега Base
75. Несколько заголовков H1
76. Несколько тегов Description
77. Несколько тегов Title
78. Одинаковые Title и Description
79. Одинаковые Title и H1
80. Одинаковые канонические URL
81. Орфографические ошибки
82. Отсутствует микроразметка
83. Отсутствующий или пустой Description
84. Отсутствующий или пустой H1
85. Отсутствующий или пустой Title
86. Отсутствующий или пустой файл Robots.txt
87. Редирект на внешний сайт
88. Редирект, заблокированный в Robots.txt
89. Редиректы HTTPS → HTTP
90. Редиректы с неправильным форматом URL
91. Смешанное содержимое
92. Содержит Flash
93. Содержит Lorem ipsum
94. Ссылки на localhost
95. Ссылки с неправильным форматом URL
96. Страницы без внутренних ссылок
97. Цепочка канонических URL
98. Цепочка редиректов
99. Циклические гиперссылки
100. Эмодзи или спецсимволы в Description
101. Эмодзи или спецсимволы в Title

Важность: низкая

Описание ошибки «Отсутствующий или пустой файл Robots.txt»

Показывает индексируемые страницы, в хосте которых файл robots.txt отсутствует или пустой. Обратите внимание, что на разных хостах (поддоменах и протоколах http/https) могут быть разные файлы robots.txt.

Важность проблемы

Файл robots.txt сообщает поисковым роботам, какие страницы и файлы на сайте можно и нельзя обрабатывать. Для поисковых систем важно наличие файла robots.txt на сайте: если он отсутствует, сканирование сайта может происходить неэффективно.

Обратите внимание, robots.txt действует для хоста, на котором находится. Потому, к примеру, файл, расположенный по адресу http://site.com/robots.txt, не влияет на сканирование https://site.com.

Пути исправления ошибки

Необходимо добавить файл robots.txt с рекомендациями по сканированию в корень всех хостов сайта.