Самое полное сравнение 22 десктопных веб-краулеров

Обновление статьи: 06.01.2024

В данном обзоре мы бы хотели провести детальное тестирование SiteAnalyzer по сравнению скорости его работы и функционала с основными конкурентами.

Основные возможности SiteAnalyzer:

• высокая скорость сканирования сайтов (свыше 1 000 страниц в минуту)
• сканирование сайтов практически любых объемов (от 1 миллиона страниц и более)
• анализ более 50 основных SEO-параметров
• 60+ предустановленных фильтров для поиска ошибок внутренней оптимизации
• гибкая фильтрация анализируемых данных по любым параметрам
• расчет внутреннего веса страниц сайта для оптимизации перелинковки (PageRank)
• возможность графического отображения ссылочных связей (визуализация данных на графе)
• возможность проведения полноценных аудитов и их выгрузка в Excel, PDF и HTML-формат

Мы не будем подробно останавливаться на описании всех нововведений и возможностей, так как все они подробно описаны в документации по работе с программой. Однако, на первых двух (скорость работы и объем сканирования) хотелось бы остановиться подробнее, так как по сути это основные параметры, по которым оценивается качество работы подобного рода программ и онлайн-сервисов.

Для сравнения мы решили протестировать 22 наиболее популярных десктопных программ для проведения SEO-аудита.

Список веб-краулеров, участвующих в обзоре:

1. Screaming Frog SEO Spider ^12.6
2. Netpeak Spider ^3.9
3. Forecheck ^0.9.1
4. Sitebulb ^2.5.5
5. WebSite Auditor ^4.37.8
6. Comparser ^1.0.133
7. Visual SEO Studio ^1.9.5.10
8. Xenu's Link Sleuth ^1.3.9
9. Beam Us Up ^1.1.0
10. Darcy SEO Checker ^1.0.1
11. LinkChecker ^9.3
12. PageWeight Desktop ^3.0.5
13. Webbee ^3.0
14. WildShark SEO spider ^1.6.3
15. Site Visualizer ^3.0
16. RiveSolutions SEO Spider ^1.0.9
17. IIS SEO Toolkit ^1.0
18. Website Link Analyzer ^2.3
19. A1 Website Analyzer ^10.1
20. seoBOXX WebsiteAnalyser ^1.3.1
21. Smart SEO Auditor ^1.6.4
22. SiteAnalyzer ^2.3

Краткое описание краулеров и их возможностей

Screaming Frog SEO Spider (Великобритания)

Пожалуй, самая популярная программа для анализа сайта среди SEO-специалистов. Отличается высокой скоростью работы и простым интерфейсом. Плюсы: есть возможность визуализации ссылочных связей на графе. Минусы: нет функционала для расчета и отображения внутреннего PageRank для страниц, отсутствие гибкой фильтрации данных, небольшое число предустановленных SEO-фильтров.

Цена: £149 в год
ОС: Windows / macOS / Linux
Демо: есть демо версия, парсит первые 500 страниц сайта
Сайт: screamingfrog.co.uk

Netpeak Spider (Украина)

Один из топовых комбайнов со множеством параметров для проверки технических характеристик и ошибок на сайте. Отличается высокой скоростью работы. Функционал ощутимо богаче, чем у Screaming Frog, гибкая настройка фильтров. Плюсы: имеется функционал для расчета и отображения внутреннего PageRank для каждой страницы сайта. Минусы: отсутствует возможность визуализации ссылочных связей на графе.

Цена: $15 в месяц ($182 в год)
ОС: Windows
Демо: есть, но без возможности экспорта отчетов
Сайт: netpeaksoftware.com

Forecheck (Германия)

Еще один "комбайн" с красивыми отчетами и множеством настроек. Скорость работы не самая высокая. Работает нестабильно: два раза намертво зависала на ~ 4 000 страницах и один раз "вылетела" с ошибкой. Плюсы: множество настроек сканера, возможность проверки произвольного списка URL, красивый HTML-отчет. Минусы: несколько запутанный интерфейс и "вылеты" на среднего размера сайтах (нестабилен).

Цена: $49 в месяц ($490 в год)
ОС: Windows
Демо: есть демо версия, парсит первые 10 000 страниц или до 10 Мб данных, часть информации скрыто
Сайт: forecheck.com

Sitebulb (Великобритания)

Данный софт отличается красивым дизайном и достойной скоростью работы, а также позволяет смотреть динамику изменений от аудита к аудиту (хранит историю сканирований в базе). Программа анализирует множество параметров во время проведения аудита, однако это количество на наш взгляд меньше, чем у более продвинутых конкурентов. Есть возможность визуализации ссылочных связей на графе, при этом нет функционала для расчета и отображения внутреннего PageRank для страниц. Из плюсов: интерфейс изобилует множеством красивых графиков. Минусы: относительно невысокая скорость работы, а также красивый, но в тоже время не совсем удобный интерфейс, по дизайну соответствующий ближе веб-сайту, нежели десктопному ПО, отсюда и проблемы с удобством работы.

Цена: $13.50 в месяц ($135 в год)
ОС: Windows / macOS
Демо: есть ознакомительная бесплатная версия на 14 дней
Сайт: sitebulb.com

WebSite Auditor (Белоруссия)

Программа имеет множество инструментов для проведения детального анализа сайтов. Отличается неплохой скоростью работы, однако, на большом числе страниц сайта (~ от 30 000), программа начинает жутко тормозить: все 3 раза сильно подвисала на ~40к страницах, после чего всплывало сообщение о недостатке памяти и просьбе перезапустить программу. На наш взгляд, WebSite Auditor имеет не совсем привычный интерфейс (пожалуй, наименее удобный из аналогичных "программ-комбайнов"), что скорее является большим минусом. Также к минусам можно причислить неудобство работы с данными (открываются в небольших окошках, с которыми не удобно работать). Плюсы: возможность создания кастомизированных отчетов, визуализация ссылочных связей на графе (при этом нет функционала для расчета и отображения внутреннего PageRank для страниц, что весьма странно). В целом можно заключить, что работа в WebSite Auditor с сайтами больших размеров может вызвать определенные проблемы...

Цена: $149 в год
ОС: Windows / macOS / Linux
Демо: есть демо версия, парсит первые 500 страниц сайта, нет возможности сохранения проектов
Сайт: seopowersuite.ru

Comparser (Россия)

Российский продукт от известного SEO-специалиста Александра Алаева. Работа программы не отличается высокой скоростью, однако ее и нельзя назвать медленной. Функционал по сравнению с конкурентами также не полный. Однако, у программы есть свои собственные фишки в виде парсинга поисковых систем Яндекс и Google, а также возможности проверки индексации страниц сайта в поисковых системах на основе спарсенных страниц. Из минусов: с недавнего времени автор отказался от поддержки "старых" версий Windows: Windows XP / Vista.

Цена: 2 000 рублей за программу
ОС: Windows
Демо: есть демо версия, парсит первые 150 страниц сайта
Сайт: parser.alaev.info

Visual SEO Studio (Италия)

Программа имеет немалый набор возможностей, однако интерфейс, на наш взгляд, не совсем удобен и имеет старомодный дизайн родом из 2000-х. А если приглядеться, то и функционал не блещет богатым набором функций. Из плюсов можно выделить возможность одновременного сканирования нескольких сайтов, но мы бы не рекомендовали это использовать, так как все сильно тормозит. На небольших сайтах скорость работы программы средняя, на сайтах больших размеров сканер работает очень медленно.

Цена: €149.00 + налоги
ОС: Windows / macOS
Демо: есть ознакомительная бесплатная версия на 15 дней
Сайт: visual-seo.com

Xenu's Link Sleuth (Германия)

Своего рода прародитель и, наверное, самая первая программа для аудита. Функционал весьма скуден и ограничен лишь проверкой битых ссылок на сайте и не более того. Последнее обновление программы было в 2010 году. Работает, не быстро, но со своей функцией поиска битых ссылок вполне справляется. С 2010 года новых версий не выходило. Итог: старичку давно пора на заслуженный отдых, но некоторые его все еще используют. Привычки, такие привычки...

Цена: бесплатно
ОС: Windows
Сайт: home.snafu.de/tilman/xenulink.html

Darcy SEO Checker (США)

Программа имеет весьма скудный набор проверяемых SEO-параметров (title, description, h1-h2, HTTP заголовки страниц). Единственным плюсом можно считать отображение баллов скорости загрузки сайта по Google Speed Insights. На данный момент программа не обновляется и не поддерживается, сайт программы не работает. Последняя версия датируется 2015 годом.

Цена: $99 за программу
ОС: Windows
Демо: есть демо версия, парсит первые 25 страниц сайта, а также нет возможности экспорта результатов
Сайт: недоступен

LinkChecker (Германия)

Программа для проверки битых ссылок в HTML-коде и файлах CSS. Сканирует сайт и отображает лишь страницы сайта с ошибками. Список просканированных URL не при этом не отображает. Работает очень медленно. Из плюсов: показывает, в какой именно строке кода находится ошибка. В остальном для нужд SEO пожалуй программа бесполезна. Судя по истории изменений на гитхабе, последний раз программа обновлялась в 2014 году.

Цена: бесплатно
ОС: Windows / Linux
Сайт: wummel.github.io/linkchecker/

PageWeight Desktop (Россия)

Популярная ранее программа для расчета "веса" страниц и настройке перелинковки (сам когда-то ей пользовался). По сути, кроме расчета "веса" страниц сайта программа более ничем не примечательна. С виду скорость сканирования высокая, однако высокая она за счет того, что в базе сохраняются лишь ссылочные связи и title страниц. Больше никаких данных программа не хранит и в работе не использует. Так что по сути, кроме расчета PageRank ей более похвастаться нечем. С другой стороны, в этом и есть ее основное предназначение. И не более того. Из минусов: судя по полузаброшенному форуму с неотвеченными вопросами пользователей и редкими обновлениями версий (последняя версия датируется 2016 годом), программа пребывает в стагнации и авторам то ли она перестала быть интересной, толи просто у них нет ресурсов и новых мыслей по ее дальнейшему развитию.

Цена: 2 000 рублей за программу
ОС: Windows
Демо: есть бесплатная Lite версия, которая ну очень медленная и показывает некорректные результаты расчета "веса" страниц
Сайт: page-weight.ru

Beam Us Up (Португалия)

Является результатом совместного творчества группы из 4-х человек, проживающих в Англии, Португалии и Сербии. Из плюсов: довольно шустро работает, бесплатен, поддерживает платформы Windows, Linux и MacOS, отчет содержит информацию о дубликатах страниц, 302 редиректах, страницах с короткими или отсутствующими мета-тегами. Минусы: кроме непосредственно страниц сайта более ничего не парсит (отсюда и высокая скорость), некоторые сайты на HTTPS парсить отказывалась. Однако, для оперативного беглого анализа вполне сгодится. Еще один большой минус: проект более не поддерживается и не развивается.

Цена: бесплатно
ОС: Windows
Сайт: beamusup.com

Webbee (Пакистан)

Не совсем удачная попытка создать копию Screaming Frog. Из плюсов: неплохая скорость работы, есть все основные параметры для проведения SEO-аудита, возможность проверки произвольного списка URL. Минусы: визуализация данных на графиках выглядит жутковато, анализируемых параметров могло бы быть и больше, нет возможности фильтрации данных по произвольным полям. Последний релиз был выпущен в 2015 году.

Цена: $15 в месяц ($129 в год)
ОС: Windows / macOS
Демо: есть демо версия, сканирует до 500 страниц сайта
Сайт: eebew.com

WildShark SEO spider (Великобритания)

Незатейливая программка с ужасно простым интерфейсом, сделанным судя по всему "на колонке". Настройки практически отсутствуют. Минусы: интерфейс, даже без учета парсинга изображений и анализа внешних ссылок на 16 потоках сканирует очень медленно (практически хуже всех), нет возможности сохранения проектов. Плюсы: отображает рич сниппеты (Rich Snippets), есть возможность генерации отчетов в Excel, а также простейшая фильтрация данных (мне так и не удалось до конца понять, работает она или нет). В заключении скажем, что, на наш взгляд, из бесплатного софта есть куда более качественные представители, нежели эта поделка.

Цена: бесплатно
ОС: Windows
Сайт: wildshark.co.uk

Site Visualizer (Россия)

Небольшая программа для аудита сайта. Хоть скоростью и не блещет, однако имеет интересные плюсы: визуализация карты сайта (показывает на карте, куда ведет какая ссылка, однако реализация не ахти какая), а также возможность создания интересных отчетов (с возможностью их редактирования путем изменения SQL-запросов к базе). Минусы: мало параметров для проверки, невысокая скорость. В целом софт можно назвать полезным, за счет возможности создания кастомных отчетов.

Цена: $69 за программу
ОС: Windows
Демо: есть 30-дневная полнофункциональная триал версия
Сайт: site-visualizer.com

RiveSolutions SEO Spider (Россия)

Достаточно молодой софт, который с одной стороны обладает частичным набором классических для подобного рода программ SEO-инструментов, с другой стороны в нем присутствует ряд сомнительных, на наш взгляд, функций, таких как, например "Яндекс Метрика Finder" (поиск счетчиков метрики на страницах сайта). Судя по опыту это совершенно не нужная вещь, хотя на сайте под описание данной функции отведено немало места. С другой стороны, если кому-то это надо, значит надо. Из минусов: огромный размер дистрибутива (85 Мб в архиве и 250 на диске), не совсем продуманный интерфейс + нет возможности кастомной фильтрации по произвольным полям. Из плюсов: как писал выше – неплохой набор классических для подобного рода программ SEO-инструментов и возможность генерации отчетов. На наш взгляд, пока программа выглядит незаконченно и "сыровато". На текущий момент программа разработчиками заброшена, ее развитие не планируется.

Цена: 6 000 рублей в год
ОС: Windows
Демо: есть демо версия, парсит первые 500 страниц сайта, отсутствует возможность сохранения проекта на диск
Сайт: rivesolutions.com

IIS SEO Toolkit (США)

Малоизвестный бесплатный аналитический SEO-инструмент для технического аудита сайта от самой Microsoft! Интерфейс IIS SEO Toolkit простоват, но в целом приятен, ошибки оптимизации сгруппированы и представлены в виде интуитивно понятных отчетов, каждая ошибка сопровождается небольшим описанием. Плюсы: достаточно высокая скорость работы, поиск дублей, анализ корректности верстки и длин мета-тегов, отображение ошибок в HTML-разметке, незакрытых тегов, частотных таблиц слов и таблиц биграмм, отображает страницы с наибольшим числом ошибок, входящих и исходящих ссылок, имеет интуитивно понятный интерфейс. Минусы: устаревший интерфейс, стабильная работа только под Windows Vista / Server 2008 / 7 (XP и Windows 8-10 официально не поддерживаются). Во время аудита 100к страниц вылезла ошибка, связанная с проблемой индексации базы. На 20к ошибок не было. Т.е. при анализе крупных проектов в работе программы могут возникать проблемы.

Цена: бесплатно
ОС: Windows
Сайт: iis.net

Website Link Analyzer (Германия)

Данная программа имеет не совсем стандартный интерфейс, больше схожий с браузерным, при этом она содержит классический набор функций для программ подобного рода: поиск битых ссылок, отображение 301 редиректов, экспорт данных в Excel и CSV, генерация Sitemap. Программа развивается с 2015 года, однако судя по истории версий не особо активно, поэтому о каком-либо потенциале развития до действительно профессионального SEO-инструмента рассуждать преждевременно.

Цена: $49 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 7 дней
Сайт: arclab.com

A1 Website Analyzer (Дания)

Интерфейс схож с Visual SEO Studio – выглядит несколько перегруженным, поэтому сходу разобраться будет затруднительно. При этом, помимо сбора основной информации о сайте, в программе имеется возможность валидации HTML и CSS кода через сервис W3C, поиск по тексту и в HTML коде по всем просканированным страницам, возможность анализа плотности ключевых слов. Из минусов: низкая скорость сканирования и непродуманный интерфейс. Плюсы: наличие Русского языка в интерфейсе (хотя, и тот локализован кривовато).

Цена: $69 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 30 дней
Сайт: microsystools.com

seoBOXX WebsiteAnalyser (Германия)

Пробовал запускать программу на 3-х разных компьютерах, однако у меня так и не получилось протестировать демо-версию – при старте программа "падала" с какой-то ошибкой "UI Theme".

При этом, судя по скриншотам интерфейса на сайте программы, она имеет как минимум стандартный набор функций для подобного рода программ (проверка наличия мета-тегов, корректность заголовков h1, статистика внутренних и внешних ссылок, анализатор контента, генерация Sitemap.xml, создание отчетов).

Цена: $39,99 в год
ОС: Windows
Демо: есть ознакомительная бесплатная версия на 30 дней
Сайт: seoboxx.com

Smart SEO Auditor (Украина)

Основным минусом Smart SEO Auditor является то, что она очень медленная – это самая медленная программа из всех программ нашего обзора. Сканирование 100 страниц сайта заняло более 4 минут. Печальный результат. Если обратиться к функционалу программы, то он также выглядит весьма заурядным: проверка кодов ответа сервера, отображение битых ссылок, наличие редиректов, заголовков и мета-тегов. Дизайн и юзабилити я бы оценил на 3 балла по пятибалльной шкале. Плюсы: не найдены. Минусы: очень медленная, скудный функционал. Резюме: для платной версии очень слабо.

Цена: $19,99 в год
ОС: Windows
Демо: есть демо версия, парсит первые 100 страниц сайта
Сайт: smart-seo-tool.ru

SiteAnalyzer (Россия)

По набору функций SiteAnalyzer практически не уступает конкурентам, а также имеет высокую скорость сканирования сайтов, сопоставимую со скоростью работы платных аналогов. Есть возможность визуализации ссылочных связей на графе, а также функционал для расчета и отображения внутреннего PageRank для каждой страницы сайта. Помимо предустановленных фильтров имеется возможность ручной фильтрации данных в произвольном формате. Из плюсов: возможность хранения всех проектов в одном списке, а также автоматическая запись всех данных сайта в базу, с возможностью их автоматического отображения после перезапуска программы без лишних манипуляций. Также отмечу возможность экспорта отчетов в Excel, небольшой размер дистрибутива (9 Мб в архиве), портативность и бесплатное распространение, что является немаловажным фактором.

Цена: бесплатно
ОС: Windows
Сайт: site-analyzer.ru

Тестирование веб-краулеров

После краткого ознакомления с функционалом и ценами приступим непосредственно к тестированию программ.

При тестировании краулеров использовались такие параметры:

• тестируйемый сайт: open.spotify.com (огромное число HTML страниц и практически нет изображений, грузится быстро, оптимизирован под большие нагрузки)
• число потоков сканирования: 10 (либо значение, доступное в программе, но не более 10)
• конфигурация компьютера: Windows 10 x64, 8 Гб RAM, CPU Intel Core i5 3.33 GHz, HDD

Для тестирования числа сканируемых данных мы выбрали параметр URI, который содержит не только страницы типа text/html, но и изображения, скрипты стили и прочие данные, так как теоретически страниц на сайте может быть не так много, а вот содержимого на этих страницах в виде изображений, стилей и прочих ссылок может быть в разы больше, поэтому именно на подсчет URI мы и будем опираться.

Результаты тестирования 22 веб-краулеров

После многочисленных тестов нами были получены такие результаты:

Программа

Время скана 1 000 страниц

Время скана 10 000 страниц

Время скана 100 000 страниц

Широкий набор аудируемых параметров

Гибкая фильтрация данных

Сканирование произвольных URL

Расчет Page Rank

Визуализация данных на графе

Парсинг данных

Рендер JS

Интеграция с GSC, GA, ЯВМ, Метрикой

Freeware

Screaming Frog SEO Spider

0:00:45

0:05:35

1:03:30

+

-

+

-

+

+

+

+

-

Netpeak Spider

0:00:30

0:04:53

0:55:11

+

+

+

+

+

+

+

+

-

SiteAnalyzer

0:00:22

0:06:47

2:04:36

+

+

+

+

+

+

-

-

+

Forecheck

0:01:12

0:08:02

1:36:14

+

-

+

-

-

-

-

-

-

Sitebulb

0:01:26

0:16:32

2:47:54

+

-

+

-

+

-

+

-

-

WebSite Auditor

0:00:40

0:05:56

2:36:26

+

-

-

-

+

-

-

+

-

Comparser

0:02:11

-

-

-

-

+

-

-

-

-

+

-

Visual SEO Studio

0:02:24

0:24:14

4:08:47

-

-

-

-

-

-

-

-

-

Xenu

0:01:22

0:14:41

2:23:32

-

-

-

-

-

-

-

-

+

Darcy SEO Checker

0:00:31

0:05:40

0:58:45

-

-

-

-

-

-

-

-

-

LinkChecker

0:00:52

0:03:22

0:52:04

-

-

-

-

-

-

-

-

+

PageWeight Desktop

0:00:56

0:17:40

4:23:15

-

-

-

+

-

-

-

-

-

Beam Us Up

0:01:03

0:10:18

1:43:03

-

-

-

-

-

-

-

-

+

Webbee

0:01:58

-

-

-

-

-

-

-

-

-

-

-

WildShark SEO spider

0:07:20

-

-

-

-

-

-

-

-

-

-

+

Site Visualizer

0:01:58

0:38:15

-

-

-

-

-

-

-

-

-

-

RiveSolutions SEO Spider

0:00:49

0:08:14

1:55:19

-

-

-

-

-

-

-

-

-

IIS SEO Toolkit

0:00:46

0:07:08

1:02:26

-

-

-

-

-

-

-

-

+

Website Link Analyzer

0:02:38

0:24:56

4:33:41

-

-

-

-

-

-

-

-

+

A1 Website Analyzer

0:05:32

0:53:15

8:42:11

-

-

-

-

-

-

-

-

+

seoBOXX WebsiteAnalyser

0:01:15

0:17:31

3:51:08

-

-

-

-

-

-

-

-

-

Smart SEO Auditor

0:04:46

-

-

-

-

-

-

-

-

-

-

-

Примечание: на сканировании 1 000 страниц нет смысла сильно заострять внимание в виду разницы алгоритмов обхода краулерами страниц у разных программ. А вот скорость сканирования 10 000 и 100 000 страниц уже показательна, так как отражает более-менее стабильную скорость работы краулеров на дальней дистанции.

Итоговая таблица с окончательными результатами тестирования

Программа	Итоговый балл	Бесплатное распространение	Дистрибутив (Мб)
Netpeak Spider	92	-	11
Screaming Frog SEO Spider	89	-	228
SiteAnalyzer	75	+	9
WebSite Auditor	72	-	203
Sitebulb	70	-	162
Forecheck	68	-	12
RiveSolutions SEO Spider	62	+	85
Visual SEO Studio	52	-	10
Comparser	51	-	7
Site Visualizer	47	-	6
A1 Website Analyzer	45	-	8
seoBOXX WebsiteAnalyser	43	-	15
IIS SEO Toolkit	42	+	1
Website Link Analyzer	40	-	3
PageWeight Desktop	38	-	5
Beam Us Up	30	+	22
Webbee	28	-	48
Darcy SEO Checker	25	-	27
WildShark SEO spider	25	+	4
Xenu	18	+	1
Smart SEO Auditor	11	-	7
LinkChecker	9	+	11

Итог

Однозначно выявить победителя по скорости сканирования было весьма сложной задачей за счет того, что в разные моменты времени сканирования одной программой одного сайта, скорость его сканирования могла варьироваться от 40 до 60 секунд на 1 000 страниц, соответственно, для 100 000 URI итоговый результат мог отличаться на десятки минут, поэтому для итогового расчета мы брали усредненные данные за несколько сканирований (для некоторых программ число тестов достигало порядка десятка и могло растягиваться до нескольких дней).

Это к слову о качестве тестирования. Логично, для наиболее популярных сканеров мы выделяли больше времени на тесты, а наиболее "простым" хватало и одного прогона.

Подытоживая результаты тестирования 22 SEO-краулеров можно заключить, что итоговый ТОП-5 для лучших из лучших в 2024 году получился таким:

• Netpeak Spider ^платно
• Screaming Frog SEO Spider ^платно
• SiteAnalyzer ^{бесплатно}
• WebSite Auditor ^платно
• Sitebulb ^платно

Соответственно, из платных программ лучшей можно назвать Netpeak Spider, а из бесплатных – SiteAnalyzer.

Благодарим за внимание! Ждем ваши комментарии и отзывы по работе данных программ!

Другие статьи:

• Массовая проверка уникальности текстов на сайте
• Пакетная проверка скорости загрузки страниц сайта
• Перелинковка сайта: лучшие методы оптимизации внутренних ссылок