1,832
Если при сканировании сайта программа SiteAnalyzer ограничивается одной страницей сайта с кодом ответа 403 Forbidden – попробуйте сменить User-Agent в настройках программы – зачастую это решает проблему и позволяет SiteAnalyzer полноценно просканировать сайт.
Часто на крупных сайтах действуют превентивные меры для определенных поисковых роботов. Поэтому некоторые сайты блокируют мало известных поисковых роботов, таких как SiteAnalyzer, другие же блокируют пользовательские юзер-агенты, которые якобы подделывают робота Yandexbot и Googlebot. В результате, когда вы сканируете сайт с помощью SiteAnalyzer, сайт может запретить вам сканирование.
Первым признаком того, что вас заблокировали, является то, что все страницы отображаются с кодом ответа 403 (HTTP 403 Forbidden). Иногда требуется несколько минут, чтобы 403 страницы начали работать, иногда дольше.
Поэтому, если вы столкнулись с подобной проблемой, попробуйте изменить User-Agent:
1. В SiteAnalyzer перейдите в раздел Настройки > User-Agent.
2. В выпадающем списке измените текущий юзер-агент (по умолчанию установлен «SiteAnalyzerbot») на Yandexbot, Googlebot Mobile или Chrome.
3. Перезапустите сканирование.
4. Повторяйте этот процесс до тех пор, пока сайт не начнет сканироваться корректно.
Таким образом, попеременно сменяя текущий юзер-агент, вы можете найти тот самый User-Agent, который не заблокирован сайтом. Это позволяет получить необходимые данные сканирования без необходимости обращаться к помощи ИТ-специалистов.
Совет:
Если вас постоянно блокируют и у вас есть доступ к команде разработки сайта, узнайте, можете ли вы использовать уникальный пользовательский агент, который они могут использовать для вашей идентификации и отключения блокировок.
Если это сайт, над которым вы регулярно работаете, вероятно, проще будет внести свой IP-адрес в белый список. Тем не менее, смена юзер-агента – это отличное краткосрочное решение для ситуаций, когда вы не можете провести сканирование корректно.
Другие статьи:
