Facebook ВКонтакте Twitter

Документация

Подробное описание работы с программой SiteAnalyzer

Назначение программы

Программа SiteAnalyzer предназначена для анализа сайта и выявления технических ошибок (поиск битых ссылок, дубликатов страниц, некорректных ответов сервера), а также ошибок и недоработок в SEO-оптимизации (незаполненные мета-теги, избыток либо полное отсутствие заголовков страниц h1, анализ контента страницы, качество перелинковки и множество других SEO-параметров). Всего анализируется более 60 параметров.

SiteAnalyzer, сканирование и анализ сайта

Основные возможности

  • Сканирование всех страниц сайта, а также изображений, скриптов и документов
  • Получение кодов ответа сервера для каждой страницы сайта (200, 301, 302, 404, 500, 503 и т.д.)
  • Определение наличия и содержимого Title, Keywords, Description, H1-H6
  • Поиск и отображение "дубликатов" страниц, мета-тегов и заголовков
  • Определение наличия атрибута rel="canonical" для каждой страницы сайта
  • Следование директивам файла "robots.txt", мета-тега "robots", либо X-Robots-Tag
  • Учет "noindex" и "nofollow" при обходе страниц сайта
  • Ссылочный анализ: определение внутренних и внешних ссылок для любой страницы сайта
  • Расчет внутреннего показателя PageRank для каждой страницы сайта
  • Определение количества перенаправлений со страницы (редиректов)
  • Сканирование произвольных URL и внешних Sitemap.xml
  • Генерация карты сайта "sitemap.xml" (с возможностью разбиения на несколько файлов)
  • Фильтрация данных по любому параметру (гибкая настройка фильтров любой сложности)
  • Экспорт отчетов в CSV, Excel и PDF-формат

Отличия от аналогов

  • Низкие требования к ресурсам компьютера, малый расход оперативной памяти
  • Сканирование сайтов практически любых объемов за счет низких требований к ресурсам компьютера
  • Портативный формат (работает без установки на ПК или прямо со сменного носителя)

Разделы документации

Начало работы

При запуске программы пользователю доступна адресная строка для ввода URL анализируемого сайта (можно ввести любую страницу сайта, так как поисковый робот, пройдя по ссылкам исходной страницы обойдет весь сайт, в том числе и главную страницу, при условии что все ссылки выполнены в HTML и не используют Javascript).

После нажатия кнопки "Старт", поисковый робот начинает переобход всех страниц сайта по внутренним ссылкам (на внешние ресурсы он не переходит, также не переходит по ссылкам, выполненным на Javascript).

После того, как робот обойдет все страницы сайта становится доступным отчет, выполненный в виде таблицы и отображающий полученные данные, сгруппированные по тематическим вкладкам.

Все анализируемые проекты отображаются в левой части программы и автоматически сохраняются в базе программы вместе с полученными данными. Для удаления ненужных сайтов воспользуйтесь контекстным меню списка проектов.

Примечание:

  • при нажатии на кнопку "Пауза" сканирование проекта приостанавливается, параллельно текущий прогресс сканирования сохраняется в базу, что позволяет, например, закрыть программу и продолжить сканирование проекта после перезапуска программы с места остановки
  • кнопка "Стоп" прерывает сканирование текущего проекта без возможности продолжения его сканирования

Настройки программы

Раздел главного меню "Настройки" предназначен для тонких настроек работы программы с внешними сайтами и содержит 7 вкладок:

SiteAnalyzer, настройки программы

Основные настройки

Раздел основных настроек служит для указания программе пользовательских директив, используемых при сканировании сайта.

Описание параметров:

  • Количество потоков
    • Чем больше число потоков, тем больше URL сможет обработать в единицу времени. При этом нужно учитывать, что большее число потоков ведет к большему числу используемых ресурсов ПК. Рекомендуется устанавливать число потоков в диапазоне 5-10.
  • Время сканирования
    • Служит для установки ограничения сканирования сайта по времени. Измеряется в часах.
  • Максимальная глубина
    • Данный параметр служит для указания глубины сканирования сайта. Главная страница сайта имеет уровень вложенности = 0. Например, если нужно просканировать страницы сайта вида "somedomain.ru/catalog.html" и "somedomain.ru/catalog/tovar.html", то в таком случае необходимо выставить значение максимальной глубины = 2.
  • Задержка между запросами
    • Служит для установки пауз при обращениях краулера к страницам сайта. Это бывает необходимо для сайтов на "слабых" хостингах, не выдерживающих больших нагрузок и частых к ним обращений.
  • Таймаут запроса
    • Установка времени ожидания ответа сайта на запрос программы. Если какие-то из страниц сайта отвечают медленно (долго грузятся), то сканирование сайта может занять достаточно длительное время. Такие страницы можно отсечь, указав значение, после которого сканер перейдет к сканированию остальных страниц сайта и тем самым не будет задерживать общий прогресс.
  • Число сканируемых страниц сайта
    • Ограничение на максимальное число сканируемых страниц. Бывает полезно, если, например, вам нужно просканировать первые Х страниц сайта (при этом не учитываются изображения, файлы стилей, скрипты и прочие типы файлов).

Сканирование

SiteAnalyzer, типы контента

Учитывать контент

  • В данном разделе можно выбрать типы данных, которые будут учитываться парсером при обходе страниц (изображения, видео, стили, скрипты), либо исключить лишнюю информацию при парсинге.

Правила сканирования

  • Данные настройки связаны с настройками исключений при обходе сайта краулером используя файл "robots.txt", по ссылкам типа "nofollow", а также используя директивы "meta name='robots'" непосредственно в коде страниц сайта.

SEO

SiteAnalyzer, настройки SEO

Данный раздел служит для указания основных анализируемых SEO-параметров, которые в дальнейшем будут проверяться на корректность при парсинге страниц, после чего полученная статистика будет отображена на вкладке "Статистика SEO" в правой части главного окна программы.

Яндекс XML

При помощи данных настроек можно выбрать сервис, посредством которого будет производиться проверка индексации страниц в поисковой системе Яндекс. Имеется два варианта проверки индексации: при помощи сервиса Яндекс XML либо сервиса Majento.ru.

SiteAnalyzer, настройки Яндекс XML

При выборе сервиса "Яндекс XML" нужно учитывать возможные ограничения (почасовые либо ежедневные), которые могут быть применены при проверке индексации страниц, относительно имеющихся лимитов на вашем аккаунте Яндекса, в результате чего часто могут возникать ситуации, когда лимитов вашего аккаунта не будет хватать для проверки всех страниц за один раз и для этого придется ждать следующего часа.

При использовании сервиса Majento почасовые либо ежедневные ограничения практически отсутствуют, так как ваш лимит буквально вливается в общий пул лимитов, который сам по себе не мал, а также имеет значительно больший лимит при почасовых ограничениях, нежели любой из отдельных пользовательских аккаунтов на "Яндекс XML".

SiteAnalyzer, проверка индексации страниц в Яндекс

User-Agent

В разделе User-Agent можно указать, каким юзер-агентом будет представляться программа при обращении к внешним сайтам во время их сканирования. По умочанию, установлен пользовательский юзер-агент, однако при необходимости можно выбрать один из стандартных агентов, наиболее часто встречающихся в интернет. Среди них есть такие, как: боты поисковых систем YandexBot, GoogleBot, Microsoft Edge, боты браузеров Chrome, Firefox, IE8, а также мобильных устройств iPhone, Android и многие другие.

Proxy-сервер

Если есть необходимость работать через прокси, то в данном разделе вы можете добавить список прокси-серверов, через которые программа будет обращаться к внешним ресурсам. Дополнительно, имеется возможность проверки прокси на работоспособность, а также функция удаления неактивных прокси-серверов.

SiteAnalyzer, настройки прокси

Исключения

Данный раздел предназначен для исключения обхода определенных страниц и разделов сайта при парсинге.

При помощи регулярных выражений можно указать какие разделы сайта не должны обходиться краулером и, соответственно, не должны попасть в базу программы. Данный список является локальным списком исключений на время сканирования сайта (относительно него "глобальным" списком является файл "robots.txt" в корне сайта).

PageRank

При помощи параметра PageRank можно анализировать навигационную структуру ваших сайтов, а также оптимизировать систему внутренних ссылок веб-ресурса для передачи ссылочного веса наиболее важным страницам.

SiteAnalyzer, настройки расчета PageRank

В программе доступно два варианта расчета PageRank: классический алгоритм и его более современный аналог. В целом, для анализа внутренней перелинковки сайта нет большой разницы при использовании первого или второго алгоритмов, поэтому вы можете использовать любой алгоритм из двух предложенных.

Подробное описание алгоритма и принципы расчета PageRank читайте в этой статье: расчет внутреннего PageRank.

Работа с программой

После завершения сканирования пользователю становится доступна информация, размещенная в блоке "Основные данные". Каждая вкладка содержит данные, сгруппированные относительно их названий (например, вкладка "Title" содержит содержимое заголовков страниц <title></title>, вкладка "Изображения" содержит список всех изображений сайта и так далее). С помощью этих данных можно проводить анализ содержимого сайта, находить "битые" ссылки или некорректно заполненные мета-теги.

SiteAnalyzer, сканирование и анализ сайта

SiteAnalyzer, поиск ошибок 404

При необходимости (например, после внесения изменений на сайте) с помощью контекстного меню имеется возможность пересканирования отдельных URL для отображения изменений в программе.

С помощью этого же меню можно отображать дубликаты страниц по соответствующим параметрам (дубли title, description, keywords, h1, h2, контент страниц).

SiteAnalyzer, контекстное меню

Фильтрация данных

Для более удобного анализа статистики сайта в программе доступна фильтрация данных. Фильтрация возможна в двух вариантах:

  • по любым полям при помощи "быстрого" фильтра
  • с использованием настраиваемого фильтра (при помощи расширенных настроек выборки данных)

Быстрый фильтр

Используется для быстрой фильтрации данных и применяется одновременно ко всем полям текущей вкладки.

SiteAnalyzer, Быстрая фильтрация

Настраиваемый фильтр

Предназначен для подробной фильтрации и может содержать одновременно несколько условий. Например, для мета-тега "title" вы ходите отфильтровать страницы по их длине, чтобы он не превышал 70 символов и одновременно содержал текст "новости". Тогда данный фильтр будет выглядеть так:

SiteAnalyzer, Настраиваемый фильтр

Пример выборки по данному фильтру:

SiteAnalyzer, Пример фильтрации данных

Таким образом, применяя настраиваемый фильтр к любой из вкладок вы можете получать выборки данных любой сложности.

Техническая статистика сайта

Вкладка технической статистики сайта находится на панели "Дополнительные данные" и содержит набор основных технических параметров сайта: статистика по ссылкам, мета-тегам, кодам ответов страниц, параметрам индексации страниц, типам контента и т.п. параметрам.

Кликая по одному из параметров они автоматически отфильтровываются в соответствующей вкладке основных данных сайта, а также одновременно отображается статистика на диаграмме в нижней части страницы.

SiteAnalyzer, Технический аудит

Статистика SEO

Вкладка SEO-статистики предназначена для проведения полноценных аудитов сайта и содержит 50+ основных SEO-параметров и определяет более 60 ключевых ошибок внутренней оптимизации! Отображение ошибок делится на группы, которые, в свою очередь, содержат наборы анализируемых параметров и фильтры, выявляющие ошибки на сайте.

Подробное описание всех проверяемых параметров читайте в этой статье.

SiteAnalyzer, SEO аудит

Для всех результатов фильтрации есть возможность их быстрого экспорта в Excel без дополнительных диалогов (отчет сохраняется в папке с программой).

Структура сайта

Данный функционал предназначен для создания структуры сайта на основе спарсенных данных. Структура сайта генерируется исходя из вложенности URL страниц. После генерации структуры доступен ее экспорт в CSV-формат (Excel).

SiteAnalyzer, структура сайта

Контекстное меню списка проектов

  • В списке проектов доступно массовое сканирование путем выделения нужных сайтов и нажатия кнопки "Пересканировать". После чего все сайты становятся в очередь и сканируются поочередно в стандартном режиме.
  • Также, для удобства работы с программой, массовое удаление выбранных сайтов также доступно по кнопке "Удалить".
  • Помимо единичного сканирования сайтов, существует возможность массового добавления сайтов в список проектов с помощью специальной формы, после чего пользователь может просканировать интересующие проекты целиком.

SiteAnalyzer, групповое добавление сайтов

Генерация Sitemap.xml

Карта сайта генерируется на основе просканированных страниц сайта. В нее добавляются страницы формата "text/html".

Сгенерировать карту сайта можно сразу после сканирования сайта, через главное меню: пункт "Проекты -> Генерировать Sitemap".

SiteAnalyzer, генерация sitemap

Для сайтов больших объемов, от 50 000 страниц, имеется функция автоматического разбиения "sitemap.xml" на несколько файлов (в этом случае основной файл содержит ссылки на дополнительные, содержащие непосредственно ссылки на страницы сайта). Это связано с требованиями поисковых систем для обработки файлов sitemap больших размеров.

SiteAnalyzer, sitemap.xml

При необходимости, объем страниц в файле "sitemap.xml" можно варьировать, изменив значение 50 000 (установлено по умолчанию) на нужное значение в основных настройках программы.

Сканирование произвольных URL

Пункт меню "Импорт URL" предназначен для сканирования произвольных списков URL, а также XML-карт сайта Sitemap.xml (в том числе и индексных) для их последующего анализа.

SiteAnalyzer, Меню - Импорт URL

Сканирование произвольных URL возможно тремя способами:

  • путем вставки списка URL из буфера обмена
  • загрузкой с жесткого диска файлов формата *.txt и *.xml, содержащих списки URL
  • путем скачивания файла Sitemap.xml непосредственно с сайта
SiteAnalyzer, Сканирование списка произвольных URL через Буфер обмена

SiteAnalyzer, Сканирование Sitemap.xml по URL

Особенностью данного режима является то, что при сканировании произвольных URL сам "проект" не сохраняется в программе и данные по нему не добавляется в базу. Также не доступны разделы "Структура сайта" и "Дашборд".

Более подробно ознакомиться с работой пункта "Импорт URL" можно в этой статье: обзор SiteAnalyzer версии 1.9.

Дашборд

Вкладка "Дашборд", отображает подробный отчет о текущем качестве оптимизации сайта. Отчет генерируется на основе данных вкладки "Статистика SEO". Помимо этих данных в отчете присутствует указание общего показателя качества оптимизации сайта, рассчитываемого по 100-бальной шкале относительно текущей степени его оптимизации. Имеется возможность экспорта данных вкладки "Дашборд" в удобный отчет в формате PDF.

SiteAnalyzer, Дашборд

Экспорт данных

Для более гибкого анализа полученных данных имеется возможность их выгрузки в CSV-формат (экспортируется текущая активная вкладка), а также генерации полноценного отчета в Microsoft Excel со всеми вкладками в одном файле.

SiteAnalyzer, экспорт данных в Excel

При экспорте данных в Excel появляется специальное окно, в котором пользователь может выбрать интересующие колонки и затем сгенерировать отчет с нужными данными.

SiteAnalyzer, отчет Excel

Мультиязычность

В программе имеется возможность выбора предпочтительного языка, на котором будет вестись работа.

Основные поддерживаемые языки: русский, английский, немецкий, итальянский, испанский, французский... На данный момент программа переведена на более чем пятнадцать (15) наиболее популярных языков.

SiteAnalyzer, Мультиязычность

Если вы хотите перевести программу на свой родной язык, то для этого достаточно перевести любой файл "*.lng" на интересующий язык, после чего переведенный файл нужно отправить на адрес "support@site-analyzer.pro" (комментарии к письму должны быть написаны на русском или английском языках) и ваш перевод будет включен в новый релиз программы.

Более подробная инструкция по переводу программы на языки находится в дистрибутиве (файл "lcids.txt").

P.S. Если у вас есть замечания по качеству перевода – отправляйте замечания и исправления на "support@site-analyzer.ru".

Сжатие базы данных

Пункт главного меню "Сжать базу данных" предназначен для выполнения операции упаковки базы данных (чистка базы от ранее удаленных проектов, а также упорядочивание данных (аналог дефрагментации данных на персональных компьютерах)).

Данная процедура эффективна в случае, когда например, из программы был удален крупный проект, содержащий большое количество записей. В целом рекомендуется проводить периодическое сжатие данных для избавления от избыточных данных и уменьшения объема базы.

С ответами на остальные вопросы можно ознакомиться в разделе FAQ >>

С нами работают