Обновление статьи: 30.08.2024
Последние тенденции поисковых систем:
Яндекс
- Палех (2016 год):
- Стали использоваться нейросети (использование семантических векторов).
- Поиск и ранжирование только по заголовкам.
- Поиск по длинному хвосту и по смыслу запроса.
- Стала работать переформулировка запроса (автошины зимние / зимние автошины).
- Королев (2017 год):
- Сравнение семантических векторов для всей страницы, а не только для заголовков, как в Палихе.
- Расчет векторов страниц на этапе индексации.
- Алгоритм стал работать лучше для редких и необычных запросов.
- Вега (2019 год):
- Повышение качества поиска за счет выбора лучших кластеров для ответа из ранее приготовленной выборки.
- Пререндеринг – практически мгновенные результаты в выдаче (скорость получения ответа).
- Экспертный уровень ответов – оценки некоторых тематик асессорами-экспертами.
- Гиперлокальность (улучшены локальные результаты поиска вплоть до районов, улиц и домов).
- BERT:
- Алгоритм, который улучшает релевантность поисковой выдачи путем анализа не фраз (как было ранее), а предложений.
- Нейросеть имеет открытый исходный код.
- Понимание контекста запроса, учет предлогов и словосочетаний (понимание и интерпретация слов, как их понимает человек).
- Понимание длинного хвоста, СЧ и НЧ запросов.
- E-A-T:
- Expertise-Authoritativeness-Trustworthiness – Экспертиза-Авторитетность-Доверие.
- Асессоры вручную просматривают YML сайты.
- Игнорирование работы с отзывами окажет негативное влияние на показатель E-A-T.
- Страницы высокого качества, по мнению Гугла:
- Актуальность (свежесть) информации.
- Понятная структура.
- Визуальные составляющие (списки, изображения, таблицы, видео).
- Цели страницы (бизнес либо информационные).
- Репутация сайта.
- Отзывы и комментарии других экспертов.
- YMYL:
- Your Money or Your Life (Кошелек или Жизнь) – условная группа тематик, влияющих на жизнь человека по мнению Google:
- Здоровье.
- Финансы.
- Новости.
- Страхование имущества, жизни.
- Your Money or Your Life (Кошелек или Жизнь) – условная группа тематик, влияющих на жизнь человека по мнению Google:
Отличие Палеха от BERT:
- Палех / Королев это просто соответствия документа запросу, тогда как Google БЕРТ может найти ответ в самом тексте.
- Архитектура:
- В BERT можно добавлять слои для более глубокого обучения.
- Однако BERT пока не может понять достоверность найденных ответов.
- Отличия в ранжировании в Яндекс и Google:
- Влияние поведенческих факторов – Google их отрицает. В Яндексе же за накрутку ПФ можно попасть под фильтр.
- Robots.txt – для Гугла нужно добавить Allow JS и CSS, они должны быть доступны поисковому роботу.
- Ссылки: в Google их значимость больше и реагирует он на них лучше.
- Региональность: в Google это просто страна привязки домена, в Яндексе можно более точно указать регион до города или поселения.
- Некачественный контент в Яндексе решает больше, чем в Гугле. В Google можно выложить, условно, дубликат статьи, и если на нее будет идти хороший трафик, то она будет ранжироваться.
Нововведения в Яндекс и Google за последние 2 года:
- Яндекс:
- Турбо-страницы.
- Яндекс Дзен.
- Колдунщики и быстрые ответы.
- Чаты.
- Яндекс Кью, Знатоки.
- Региональный поиск.
- Яндекс Proxima – оценка качества поиска.
- Пометки качества сайтов в выдаче.
- Google:
- Скорость загрузки.
- Мобильность.
- Повышение значимости бренда.
- E-A-T.
Коммерческий алгоритм Яндекса – определение привлекательности сайта для пользователей на основании дополнительных критериев, таких как:
- Наличие групп и сообществ в социальных сетях.
- Наличие представительских центров в регионах и городах.
- Качественное описание товара и наличие различных фотографий продукции.
- Максимально полная контактная информация.
- Положительные отзывы реальных покупателей (для интернет-магазинов).
- Наличие спецпредложений, акций.
- Приятный дизайн и пользовательский интерфейс.
Язык поисковых запросов
- Получение выдачи на нескольких заранее оговоренных сайтах по одному запросу: "окна века (site:www.your-okna.ru | site:www.okna-21-veka.ru)".
- Проверка индексации страницы в Яндекс: "url:www.your-okna.ru/product/plastic-okna/okna-veka.html | url:your-okna.ru/product/plastic-okna/okna-veka.html".
- Проверка индексации ссылки в Яндекс: "У нас недорого остекление для всех желающих. (url:www.your-okna.ru/product/plastic-okna/okna-veka.html | url:your-okna.ru/product/plastic-okna/okna-veka.html)".
- Проверка индексации страницы в Google: "http://webcache.googleusercontent.com/search?q=cache:your-okna.ru%2Fproduct%2Fplastic-okna%2Fokna-veka.html".
Редиректы
- 301 редирект – постоянный (исходная страница исчезает из выдачи поисковой системы и не ее место встает ее новое представление).
- 302 редирект – временный (работает аналогично 301 редиректу, однако из выдачи исходная страница не исчезает).
Типы и виды поисковых запросов и их классификация
По типу цели:
- навигационные: пользователь ищет адрес магазина, сайт ФК Спартак, гугл.ком;
- транзакционные: совершение действия, купить, скачать и т.п. (заказать такси в Москве, купить хостинг);
- информационные: клиент просто ищет информацию по товару / услуге (количество листьев на дереве, как починить водопровод);
- общие: сложно отнести к какому-либо из 3-х типов (пластиковые окна veka).
По частоте:
- высокочастотные (ВЧ);
- среднечастотные (СЧ);
- низкочастотные (НЧ).
По конкурентности:
- высоко конкурентные (ВК);
- средне конкурентные (СК);
- низко конкурентные (НК).
Также бывают и подобные комбинации, как "высокочастотные низкоконкурентные". Например это может быть запрос "delphi" (при большой частоте запросов низкая конкуренция).
По географии:
- геозависимые (купить iPhone, курсы английского в Новосибирске, заказ такси);
- геонезависимые (как пришить пуговицу).
Кликабельность сайта (CTR) в естественной (органической) выдаче поисковых систем
Что влияет на кликабельность сайта в поисковой выдаче?
- Заголовки и сниппеты (описания).
- Favicon.
- Позиция в поисковых результатах (в выдаче).
- Тип запроса (информационный, продающий и т.д.).
- Шумы.
В среднем CTR распределяется примерно следующим образом:
2 место – 15-20%
3 место – 10-12%
4 место – 8-9%
5 место – 4-8%
6 место – 4-5%
7 место – 4-5%
8 место – 3-4%
9 место – 2-4%
10 место – 3-5%
Также на кликабельность сайта влияют так называемые шумы, к которым относятся
- оптимизаторы и их клиенты;
- владельцы сайтов;
- рекламодатели и их исполнители;
- роботы.
Все они проверяют выдачу лишь с целью узнать позицию своего ресурса по запросу и никогда не переходят на сами сайты, поэтому, уменьшают общий CTR.
Основные виды поведенческих факторов (ПФ)
1. Удовлетворенность пользователя после посещения сайта. Основные метрики могут быть такими:
- количество просмотренных страниц сайта;
- показатель отказов;
- время, проведенное на странице и на сайте в целом;
- скорость загрузки страниц;
- глубина просмотра;
- популярные страницы выхода с сайта;
- количество вернувшихся посетителей за период.
Показатель отказов: существует исследование, согласно которому, 57% пользователей уйдут с вашего сайта, если он загружается дольше 3-х секунд.
2. Поведение пользователя в результатах поиска – какие сайты будут наиболее кликабельны, сколько страниц пролистает пользователь, чтобы найти нужный сайт по своему запросу. Сюда можно отнести:
- кликабельность сниппета (CTR). Если он некликабелен длительное время, то скорей всего является непривлекательным и Яндекс его исключит из топа для улучшения качества выдачи;
- количество пролистанных страниц (косвенно влияет на CTR сайтов в топе).
3. Объем трафика – более количественная характеристика, чем качественная, но ее тоже можно отнести к поведенческим факторам. К примеру, на сайт могут идти посетители не только из поиска, но из социальных сетей, форумов или других сайтов. Анализируя тот факт, что на сайт ходят, поисковики могут принимать соответствующее решение.
За что отвечает функция ранжирования BM25 (Okapi BM25)?
Это специальная функция ранжирования, используемая поисковыми системами для упорядочивания документов по их релевантности данному поисковому запросу. BM25 и его различные более поздние модификации (например, BM25F) представляют собой функцию ранжирования, которая оценивает документы на основе встречаемости слов запроса в каждом документе, без учета взаимоотношений между ними. Т.е. преимущество при поиске в запросах с более чем 2-ух слов, одно из которых менее употребительно (более узкоспециализированное) будет отдаваться документам, которые содержат это узкоспециализированное слово.
TF-IDF – где используется и для чего?
TF‑IDF (Term Frequency х Inverse Document Frequency) – это метод статистического анализа. Помимо SEO его используют в веб‑аналитике, в пользовательском моделировании, в лингвистике. TF‑IDF оценивает относительный вес слова в документе по отношению к набору слов в коллекции. Проще говоря, TF‑IDF показывает, насколько важно слово в документе.
- TF – это частота термина или количество раз, которое слово упоминается в документе, например на продуктовой странице или в статье.
- IDF – обратная частота документа. В SEO она показывает, как часто слово появляется на всех страницах в интернете.
TF‑IDF дает возможность проанализировать плотность ключей, которые уже используют конкуренты в ТОПе. То есть ту плотность, которую хочет видеть поисковик, чтобы вывести, предположим, статью на первую страницу выдачи.
Мера TF-IDF часто используется в задачах анализа текстов и информационного поиска, например, как один из критериев релевантности документа поисковому запросу, при расчёте меры близости документов при кластеризации.
Колдунщик Яндекса. Для чего он предназначен?
Колдунщик – алгоритм обработки запросов, предназначенный для добавления дополнительной информации в поисковую выдачу (интерактивные подсказки). Технология колдунщика (параллельный поиск) внедрена Яндексом примерно в 2000 году. Помимо ссылок на веб-ресурсы добавляются ссылки на сервисы Яндекса (погода, музыка, карты), а также ссылки дополнительную уточняющую информацию о запросе.
Длина тегов title и description в Яндекс и Google
Длина title
Для Яндекса длина title должна быть не более 15 слов, для Google – не более 12.
Обычно тайтл состоит из одного предложения. Точка в конце title при этом не ставится.
Например, поисковая система Google видит все слова в тайтлах. Конечно можно разместить в title хоть весь контент со страницы. Но плюсом это не будет. Только 12 первых слов имеют хороший заголовочный вес. Все остальное будет восприниматься либо как обычный текст с тела документа, либо еще слабее. При ручном модерировании подобное злоупотребление будет выглядеть как спам, со всеми вытекающими.
P.S. Некоторые оптимизаторы измеряют длину title не в словах, а в символах, что тоже имеет право на жизнь. В таком случае длина title не должна превышать 90 знаков, оптимальная длина: 70-90 символов.
Подробное описание оптимизации TITLE >>
Длина description
Длина мета-описания description обычно составляет 200-260 знаков. При этом сам дескрипшн обычно составляется из 1-2 предложений – сжатое описание контента текущей страницы.
Подробное описание оптимизации Description >>
Как закрыть кусок текста на странице от индексации в Яндекс и Google?
Можно закрыть текст тегом <noindex>, и тогда он не будет индексироваться (тем не менее ссылки при этом будут проиндексированы). Однако этот метод работает только для яндекса.
У Google нет аналогичного тега, а мета-тег <noindex> он попросту не знает (не учитывает). Однако выход есть – выводить необходимый текст яваскриптом. Т.к. яваскрипт поисковики не индексируют, то этот текст не будет проиндексирован, но в то же время будет отображаться на странице.
Яндекс Noindex, Nofollow
- При закрытии ссылки в Noindex – анкор не учитывается при определении релевантности страницы (не используется в ранжировании), но вес передается акцептору.
- Закрываем ссылку только Nofollow – анкор учитывается (как обычный текст), но по ссылке вес не передается.
Google Noindex, Nofollow
- При закрытии ссылки в Noindex – Google на это не обращает внимания (т.е. ему не известен подобный мета-тег), и индексирует как обычный текст / ссылку.
- Nofollow – анкор учитывается как обычный текст, по ссылке вес акцептору не передается, но при этом и с донора перетекает в никуда.
Склейка доменов
- Основное условие: все сайты, являющиеся зеркалами домена "site.ru" должны быть полностью идентичными (включая дизайн, содержимое и навигацию сайта).
- Склейка доменов происходит не сразу, а примерно раз в 2-3 месяца, когда проходит апдейт робота-зеркальщика.
- Технология: сначала склеиваем сайты через "robots.txt" – указываем в директиве Host необходимый домен (работает только для Яндекс, т.к. Google не знает такого тега). Затем, после склейки, можно дополнительно установить 301 редирект (для Google это есть основной способ склейки доменов).
Ссылки с одинаковым адресом на странице
- Google учитывает лишь первую ссылку в контенте (анкор при этом не учитывается), игнорируя вторую (и последующие) на одну и ту же страницу.
- В отличие от Google, Яндекс учитывает все анкоры (ссылки).
- Небольшой хак: для учета например 2-х ссылок на одну страницу, первой можно ставить обычный URL, а второй – URL с якорем на конце. Таким образом, ссылки будут разными, но при этом будут вести на одну и туже страницу.
Как узнать количество новых документов в Яндекс, появившихся за какой-либо период?
Используем оператор "date". Пример: вводим в поисковой строке запрос "site:your-okna.ru date:>20130701". В итоге, нам отображаются документы, проиндексированные после указанной даты. Очевидно, если, к примеру, в течении последнего года количество таких документов было незначительно, то поисковая система может решить, что сайт заброшен, соответственно не интересен пользователям, и в связи с этим принять решение о понижении его при ранжировании.
Как вычислить спектральную примесь из выдачи?
Одним из способов идентификации спектральной примеси является ее отсутствие по запросу, получаемому из исходного путем добавления символа @ в его конец.
Как узнать возраст конкретного документа в Яндекс?
Например, берем на проверку 2 страницы разных сайтов "url:www.your-okna.ru/company.html | url:www.smart-promotion.ru/company/articles/art-poleznie-seo-links.html", вводим этот запрос в поисковую строку Яндекса. Затем дописываем в строке адреса оператор "&how=tm". В результате в сниппетах добавятся даты первой индексации данных документов.
Расположение директивы Sitemap в robots.txt
Вопрос: Обязательно ли директиву Sitemap нужно использовать внутри секции или можно использовать за пределами: например, через пустую строчку, после секции? Поймет ли робот в данном примере ссылку на Sitemap.xml?
Ответ: Директива Sitemap является межсекционной, поэтому будет использоваться роботом вне зависимости от места, где она указана в файле robots.txt.
Влияет ли количество исходящих ссылок со страницы на ее PageRank?
Не влияет, т.к. PageRank это внешний фактор, а также это видно из формулы вычисления PageRank.
Вопрос про измерение сезонности запроса
- Вопрос: Как измерить сезонность спроса и сезонность конверсионности для категории товаров (например, "велосипеды"), не используя статистические данные Яндекс.Вордстат, Google Analytics, Яндекс.Метрику и прочие инструменты?
- Ответ: Можно сделать выборку продаж по велосипедам за год, два. Из нее будет видно, в какой месяц было больше продаж, а какой месяц принес меньше прибыли. Соответственно, по выборке можно судить о сезонности и конверсионности данной категории.
Фундаментальное отличие алгоритма ранжирования Яндекса от Google?
- Яндекс:
- у Яндекса к "простыням" текста отношение более критичное, чем у Google;
- так называемый порог "переспама" у Яндекса более суровый, чем у Google;
- уникальность текста для Яндекса является достаточно важным критерием, нежели у Гугла.
- Google:
- более трепетно относится к внешним ссылкам, не соответствующим тематике сайта и может наложить фильтр за превышение определенного порога;
- возраст ссылки не влияет на ее "хорошесть" (одинаково относится к "старым" ссылкам и недавно появившимся);
- Google никогда не будет пенализировать ваш сайт за дублированный контент.
Аффилированность сайтов
- Как не попасть под фильтр: необходимо исключить факторы, по которым можно было бы определить, что сайт принадлежит одному владельцу, т.е. это могут быть: одинаковое название фирмы, контакты, телефоны, дизайн, контент, структура, верстка (СMS) и хостинг (IP-адрес сервера, NS-сервера).
- Проверка на фильтр: резкое проседание сайта по ранее "видимым" запросам; по одинаковым запросам в выдаче присутствует лишь один сайт, при этом по некоторым другим запросам могут присутствовать оба; использование запроса типа "поисковый запрос ~~ site:сайт-аффилиат" – исключение из ранжирования ресурса, которого Яндекс мог счесть аффилированным с вашим. Если это так, то по такому запросу ваш ресурс должен будет показаться (примерно на той же позиции).
- Как выйти из-под фильтра аффилиата: если сайт находится под фильтром, то нужно внести все вышеперечисленные изменения (сделать так, чтобы ни алгоритму ПС, ни человеку не к чему было придраться), и затем писать в тех поддержку Яндекса на предмет того, что это сайты разных владельцев.
Провести детальный анализ сайта, выявить страницы с "битыми" ссылками и устранить их вы можете совершенно бесплатно, используя программу SiteAnalyzer.
Другие статьи:
Чтобы оставить комментарий необходимо авторизоваться.