Для чего нужны поисковые системы
Для чего нужны поисковые системы
Поисковая система — это совокупность различных программных и аппаратных средств, главной задачей которых является поиск информации в сети интернет. Для обычного пользователя поисковая система представляет из себя обычный веб-интерфейс, который дополнительно обладает еще функцией поиска различных данных и ресурсов сети.
В основе любой поисковой системы находится так называемая поисковая машина, которая представляет из себя комплекс программных решений для целей обеспечения функционирования поисковой машины. Как правило механизм ее действия является коммерческой тайной его разработчиков.
В настоящее время существует множество поисковых систем, самые известные из которых: Google, Nigma, «Яндекс», Bing и некоторые другие. Каждая из этих систем в своей основе имеет принцип сканирования ключевых слов. Любой ресурс или сайт сети интернет индексируется (или, говоря грубее, регистрируется) поисковой машиной не просто так, а путем заявки на индексацию к администрации того или иного поисковика. В ответ администрация озвучивает необходимые условия для этого. Как правило, условия эти довольно нестрогие и заключаются в добавлении каких-либо тегов на главной странице ресурса.
После добавления тегов поисковая машина начинает сканировать код всех страниц ресурса. Процесс будет идти гораздо быстрее и проще, если в предоставленных для индексации ресурсах указаны ключевые слова. Под ключевыми словами подразумевается совокупность слов и фраз, по которым поисковая машина при запросе от пользователя смогла бы выделить данный ресурс из совокупности других.
В настоящий момент поисковых систем в чистом виде уже не существует. Помимо самого поисковика, его разработчики предоставляют пользователям услуги электронной почты, электронных денег, систем общения между пользователями поисковика, а также ряд приятных мелочей, как мониторинг погодных условий, пробок и прочее в зависимости от вкусов разработчиков.
Поисковые системы
Поисковые системы (ПС) уже давно являются обязательной частью интернета и нашей повседневной жизни. Сегодня они громадные и сложнейшие механизмы, которые представляют собой не только инструмент для нахождения любой необходимой информации, но и довольно увлекательные сферы для бизнеса.
Функции и понятие ПС
Поисковая система – это аппаратно-программный комплекс, который предназначен для осуществления функции поиска в интернете, и реагирующий на пользовательский запрос который обычно задают в виде какой-либо текстовой фразы (или точнее поискового запроса), выдачей ссылочного списка на информационные источники, осуществляющейся по релевантности. Самые распространенные и крупные системы поиска: Google, Bing, Yahoo, Baidu. В Рунете – Яндекс, Mail.Ru, Рамблер.
Рассмотрим поподробнее само значение запроса для поиска, взяв для примера систему Яндекс.
Запрос обязан быть сформулирован пользователем в полном соответствии с предметом его поиска, максимально просто и кратко. К примеру, мы желаем найти информацию в данном поисковике: «как выбрать автомобиль для себя». Чтобы сделать это, открываем главную страницу и вводим запрос для поиска «как выбрать авто». Потом наши функции сводятся к тому, чтобы зайти по предоставленным ссылкам на информационные источники в сети.
Но даже действуя таким образом, можно и не получить необходимую нам информацию. Если мы получили подобный отрицательный результат, нужно просто переформировать свой запрос, или же в базе поиска действительно нет никакой полезной информации по данному виду запроса (такое вполне возможно при заданных «узких» параметров запроса, как, к примеру, «как выбрать автомобиль в Туле»).
Самая основная задача каждой поисковой системы – доставить людям именно тот вид информации, который им нужен. Приучить же пользователей создавать «правильный» вид запросов к поисковым системам, то есть фразы, которые будут соответствовать их принципам работы, практически, невозможно.
Именно поэтому специалисты-разработчики поисковиков делают такие принципы и алгоритмы их работы, которые бы давали пользователям находить интересующие их сведения. Это означает, что система, должна «думать» так же, как мыслит человек при поиске необходимой информации в интернете.
Когда он вводит свой запрос в поисковую машину, он желает найти то, что ему надо, как можно проще и быстрее. Получив результат, пользователь составляет свою оценку работе системы, руководствуясь несколькими критериями. Получилось ли у него найти нужную информацию? Если нет, то сколько раз ему пришлось переформатировать текст запроса, чтобы найти ее? Насколько актуальная информация была им получена? Как быстро поисковая система обработала его запрос? Насколько удобно были предоставлены поисковые результаты? Был ли нужный результат первым, или находился на 30-ом месте? Сколько «мусора» (ненужной информации) было найдено вместе с полезными сведениями? Найдется ли актуальная для него информация, при использовании ПС, через неделю, либо через месяц?
Основные характеристики поисковых систем
Полнота.
Точность.
Еще одна основная функция поисковой системы – точность. Она определяет степень соответствия запросу пользователя найденных страниц в Сети. К примеру, если по ключевой фразе «как выбрать автомобиль» найдется сотня документов, в половине из них содержится данное словосочетание, а в остальных просто есть в наличии такие слова (как грамотно выбрать автомагнитолу, и установить ее в автомобиль»), то поисковая точность равна 50/100 = 0,5.
Чем поиск точнее, тем скорее пользователь найдет необходимую ему информацию, тем меньше разнообразного «мусора» будет встречаться среди результатов, тем меньше найденных документов будут не соответствовать смыслу запроса.
Актуальность.
Это значимая составляющая поиска, которую характеризует время, проходящее с момента опубликования информации в интернете до занесения ее в индексную базу поисковика.
К примеру, на следующий день после возникновения информации о выходе нового iPad, множество пользователей обратилась к поиску с соответствующими видами запросов. В большинстве случаев информация об этой новости уже доступна в поиске, хотя времени с момента ее появления прошло очень мало. Это происходит благодаря наличию у крупных поисковых систем «быстрой базы», которая обновляется несколько раз за день.
Скорость поиска.
Наглядность.
Наглядное представление результатов является важнейшим элементом удобства поиска. По множеству запросов поисковая система находит тысячи, а в некоторых случаях и миллионы разных документов. Вследствие нечеткости составления ключевых фраз для поиска или его не точности, даже самые первые результаты запроса не всегда имеют только нужные сведения.
Это значит, что человеку часто приходится осуществлять собственный поиск среди предоставленных результатов. Разнообразные компоненты страниц выдачи ПС помогают ориентироваться в поисковых результатах.
История развития поисковых систем
Когда интернет только начал развиваться, число его постоянных пользователей было небольшим, и объем информации для доступа был сравнительно невеликим. В основном доступ к этой сети имели лишь специалисты научно-исследовательских сфер. В то время, задача нахождения информации не была столь актуальна как сейчас.
Одним из самых первых методов организации широкого доступа к ресурсам информации стало создание каталогов сайтов, причем ссылки на них начали группировать по тематике. Таким первым проектом стал ресурс Yahoo.com, который открылся весной 1994-ого года. Впоследствии когда количество сайтов в Yahoo-каталоге существенно увеличилось, была добавлена опция поиска необходимых сведений по каталогу. Это еще не было в полной мере поисковой системой, так как область такого поиска была ограничена только сайтами, входящими в данный каталог, а не абсолютно всеми ресурсами в интернете. Каталоги ссылок весьма широко использовались раньше, однако в настоящее время, практически в полной мере утратили свою популярность.
Ведь даже сегодняшние, громадные по своим объемам каталоги имеют информацию о незначительно части сайтов в интернете. Самым известным и большим каталогом в мире был DMOZ (прекратил работу 14 марта 2017 года) имеет информацию о пяти миллионах сайтов, когда база Google содержит информацию о более чем 25 миллиардов страниц.
Самой первой настоящей поисковой системой стала WebCrawler, возникшая еще в 1994-ом году.
В следующем году появились AltaVista и Lycos. Причем первая была лидером по поиску информации очень длительное время.
В 1997-ом году Сергей Брин вместе с Ларри Пейджем создал машину поисковую Google как исследовательский проект в Стэндфордском университете. Сегодня именно Google, самая востребованная и популярная поисковая система в мире.
В сентябре 1997-ом году была анонсирована (официально) ПС Yandex, которая в настоящий момент является самой популярной системой поиска в Рунете.
Доля поисковых систем
Принципы работы поисковой системы
Модуль индексирования.
Данный компонент состоит из трех программ-роботов:
Spider (по англ. паук) – программа которая предназначена для того чтобы скачивать веб-страницы. «Паук» скачивает определенную страницу, одновременно извлекая из нее все ссылки. Скачивается код html практически с каждой страницы. Для этого роботы используют HTTP-протоколы.
«Паук» функционирует следующим образом. Робот передает запрос на сервер “get/path/document” и иные команды запроса HTTP. В ответ программа-робот получает поток текста, который содержит информацию служебного вида и, естественно, сам документ.
Crawler, исследуя найденные ссылки, ищет новые документы, еще не ставшие известными поисковой системе.
Indexer (робот-индексатор) – это программа, анализирующая страницы, которые скачали пауки.
Индексатор полностью разбирает страницу на составные элементы и проводит их анализ, применяя свои морфологические и лексические виды алгоритмов.
Анализ проводится над разнообразными частями страницы, такими как заголовки, текст, ссылки, стилевые и структурные особенности, теги html и др.
Таким образом, модуль индексирования дает возможность проходить по ссылкам заданного количества ресурсов, скачивать страницы, извлекать ссылочную массу на новые страницы из полученных документов и делать подробный их анализ.
База данных
Поисковый сервер
Это самый важный элемент всей системы, потому что от алгоритмов, лежащих в основе ее функциональности, прямо зависит скорость и, конечно же, качество поиска.
Что такое поисковые системы, и для чего они нужны
В глобальной сети Интернет можно найти информацию по любой интересующей теме. Но самое трудное в работе с сетью Интернет — найти нужную информацию. Т. к. Интернет не имеет четкой централизованной структуры, развивается хаотично, и в мире появляются все новые и новые серверы, вопросы поиска информации становятся очень актуальными.
Поисковые системы значительно облегчают работу в Интернет и помогают нам быстро найти нужную информацию в огромном массиве серверов Интернет. Во всемирной паутине Интернет находится несколько тысяч поисковых систем, среди которых есть как уже хорошо зарекомендовавшие себя, так и менее известные.
Наиболее популярные поисковые системы
Яндекс — средство полнотекстового поиска информации с учетом морфологии русского языка; поиск по сайтам, своему каталогу, новостям, товарам, географическим картам, словарям, блогам, картинкам, документам Microsoft Office и adobe acrobat PDF o Яндекс: Расширенный поиск o Яндекс — краткий вариант страницы поиска o Все сервисы Яндекса
Rambler (ОАО «Рамблер Интернет Холдинг») — поиск по сайтам с учетом морфологии русского и английского языков; имеет и каталоговую систему поиска. o Rambler Lite: поисковая система — краткий вариант страницы поиска o Все проекты Рамблера
Поисковый сервис Спутник (ОАО «Ростелеком») — поиск по сайтам, госуслугам и др.; безопасный поиск
NIGMa — интеллектуальная поисковая система (МГУ им. М. В. Ломоносова и Stanford University) — поиск документов, картинок, книг, новостей через Google,
Yahoo, MSN, Yandex, Rambler, altavista, Апорт; также система предоставляет уникальный поиск по химическим формулам и реакциям
Google — поиск по сайтам (есть возможность поиска по русскоязычным сайтам); поиск документов в форматах adobe acrobat PDF, Microsoft Office, PostScript, Corel WordPerfect, Lotus 1-2-3 и др.; поиск картинок, видео, новостей, поиск по картам; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки
o Google Расширенный поиск o Все Продукты Google
Bing (Microsoft Corp.) — поиск по сайтам, изображений и видео; возможность поиска по русскоязычным и российским сайтам; есть система перевода текста на др. языки (22 языка)
Yahoo! (Yahoo) — поиск по сайтам, адресам E-Mail и др.
Каждая из поисковых систем имеет какие-то свои достоинства и недостатки, которые определяются принципом работы поисковой машины, удобством использования, ее оформлением, сложностью языка запросов, наличием различных расширенных функций (управление форматом и ранжированием выводимой информации, исправление орфографических ошибок и ошибочной раскладки клавиатуры при вводе ключевых слов, перевод страницы на др. языки т. д.), скоростью работы, и др. параметрами. Выбор поисковой системы для конкретного применения определяется целью поиска, характером искомой информации, желаемым форматом выводимых данных и шириной охвата отслеживаемых адресов серверов в мире Интернет.
Поиск по ключевым словам. Язык запросов поисковой системы
Поисковая система обычно имеет поле для ввода ключевых слов, по которым она находит документы, содержащие эти ключевые слова. Чем лучше (качественнее) составлен запрос к поисковой машине, тем меньше общее количество найденных документов, и больше из них документов, соответствующих тому, что Вам требуется. Если запрос очень простой или составлен неграмотно, то поисковая машина может Вам выдать несколько миллионов документов, которые Вам не просмотреть за всю жизнь.
Используя язык запроса, содержащий логические операции (логические операторы AND, OR, NOT, скобки и др.), префиксы обязательности присутствия ключевых слов в документе «+» и «-» (при,поиске по узкоспециализированным терминам — предпочтительней использовать), расположения ключевых слов в документе рядом или на определенном расстоянии и т. д.) и др. элементы, и большее количество связанных ими ключевых слов, можно значительно сузить область поиска и более качественно составить запрос к поисковому серверу. Следует учитывать, что разные поисковые системы могут иметь как различающиеся языки запросов, так и очень похожие.
На сайтах поисковых систем обычно есть ссылки на справочную информацию по использованию поисковых сервисов, языков запросов, рекомендации по поиску и т. д.
Некоторые поисковые системы дополнительно имеют функцию расширенного поиска, позволяющую пользователю более точно описать то, что ему конкретно нужно и без знания языка запроса. Функцию расширенного поиска имеют, например, поисковые системы Яндекс и Google.
Основные типы поисковых систем. Какой поисковой системой воспользоваться
Существует 2 основных типа поисковых систем Интернет: индексные и классификационные (каталоговые). Индексные поисковые системы
(например,Яндекс, Rambler, Спутник, Google, Bing и др.), работая в автоматическом режиме обновления своей информации, просматривают в Интернет содержимое серверов, индексируя информацию, содержащуюся в них и внося информацию о расположении слов на страницах сайтов в свои базы данных. Каталоговые системы поиска (например, Rambler, Yahoo! и др.) содержат тематически структурированный каталог серверов, и чаще всего пополняются вручную. Обычно на WWW-странице классификационной поисковой системы содержится и поле для ввода ключевых слов для поиска в собственной базе данных. В каталоговой системе поиска можно, начав с более крупной тематической рубрики, и постепенно спускаясь дальше по рубрикам, прийти к ссылке на нужный Вам сайт. В одних случаях бывает удобней воспользоваться первым типом поисковых систем, в других — вторым. Есть поисковые системы, сочетающие в себе оба принципа работы. В частности, многие индексные поисковые системы имеют и каталоговую систему поиска. Также поисковые машины могут использовать и какие-то другие принципы методы поиска.
Многие поисковые системы преобразовались в Интернет-порталы, объединяющие в себе большое количество ресурсов и сервисов. На страницах таких порталов можно прочитать новости, ознакомиться с программой телепередач, узнать о погоде, курсах валют, воспользоваться картографическим сервисом и мн. др.
Наиболее популярные российские поисковые системы имеют возможности поиска с учетом особенностей русского языка.
Для поиска одновременно в нескольких поисковых системах можно воспользоваться так называемыми поисковыми метамашинами, обращающимися сразу к нескольким поисковым средствам, например, NIGMa.
Существуют также поисковые системы, специализирующиеся по поиску по одной какойлибо теме (например, по информационным технологиям, по музыке, по ресурсам, посвященные природе и т. д.).
Общие условия выбора системы дренажа: Система дренажа выбирается в зависимости от характера защищаемого.
Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰).
Зачем нужны поисковые системы?
Интернет – это бесконечное хранилище самой разной информации, которая обновляется ежесекундно. Каждый компьютер, имеющий подключение к сети, по сути, является одной из ячеек этого хранилища.
А информация лежит в этих ячейках не только в виде текста, но еще и в картинках, видео и аудиофайлах. Что же помогает каждый день пользователям интернета находить среди этого бесконечного числа информации то, что им нужно? Ответ прост – поисковые системы.
Что такое поисковая система?
Поисковик, поисковая машина или поисковая система – это самый главный навигатор в бесконечных океанах цифровой информации. С помощью поискового робота, который безостановочно «прогуливается» по страницам старых и только что созданных сайтов, поисковая система как бы заносит в свою память каждый отдельный текст, картинку, видео или любого другого рода файл.
Работа поисковой системы (ПС) строится на основе определенного алгоритма, который сортирует полученную информацию и соотносит её с теми или иными запросами, присваивая ей релевантность. Релевантность – это соответствие запросам.
Но не только от релевантности зависит то, попадет страница в выдачу поисковика или нет. Накладывается множество факторов: рейтинг сайта, его качество с точки зрения пользователя, правильный код страницы. И точный алгоритм работы ПС на основе этих факторов расшифровать невозможно.
Что такое позиция сайта в ПС?
Проходя индексацию, те или иные сайты попадают в базу поисковой системы. Индексация – это своеобразный официальный учет, признание того, что сайт существует (или определенная его страница). В зависимости от огромного количества факторов страница может попасть на 1000, 249, 11, 1 или любое другое место в выдаче.
Выдача – это то, что пользователь видит, вводя запрос в строку поисковой системы. Например, набирая «что такое поисковик?», человеку выдается бесконечный список страниц. Первая в списке – самая «удачливая», в ней наилучшим образом объединились все факторы, что и вывело её на лидирующую позицию.
Что влияет на эту позицию?
Конечно же, работа людей, занимающихся сайтами: вебмастеров, оптимизаторов, копирайтеров. Очень многое зависит именно от качества контента, расположенного на странице. Если на странице будет встречаться большое количество запросов – ключевых слов, — то она не попадет на первую строчку. ПС стали умными, они продуманным образом определяют полезность страницы.
Другой взгляд на актуальность ПС
Итак, поисковая машина нужна для следующего:
ПС – это мощный инструмент, не только позволяющий структурировать миллиарды терабайтов информации, но и открывающий колоссальные возможности онлайн заработка.
Почему же поисковиков так много?
Многие рядовые юзеры пользуются, как правило, одной поисковой системой. В России – это Яндекс в подавляющем большинстве случаев. Второй по популярности – Google. Но существуют и другие системы, все из которых перечислить сложно. Одни из них работают достаточно успешно, другие нет.
Почему их так много? У них разные алгоритмы поиска и индексации, но суть не в этом. Конкуренция – вот то, что каждый день заставляет даже таких гигантов, как Яндекс, развиваться и совершенствоваться, а не стоять на месте. Если этот поисковик остановится в развитии, на его место быстро придет другой. И большое количество ПС – это, скорее, хорошо, чем плохо!
Как работают поисковые системы: сканирование, индексирование и ранжирование
Поисковые системы (ПС) нужны, чтобы обнаруживать, понимать и систематизировать содержимое интернета, выдавая пользователям на их запросы релевантные сайты. Чтобы ваш ресурс появился в результатах выдачи, он должен быть открыт для поисковых систем. О том, как работают ПС, сканируют, индексируют и ранжируют сайты, расскажу ниже. Это перевод материала, размещенного здесь.
Как работают поисковые системы?
У них три основные функции:
Что такое поисковое сканирование?
Сканирование – это процесс обнаружения, при котором поисковые системы отправляют команду роботов (известных как сканеры или пауки) для поиска нового и обновленного контента. Это может быть страница, изображение, видео, PDF-файл и т. д. Вне зависимости от формата контент обнаруживается по ссылкам.
Сначала бот загружает несколько страниц, потом переходит по размещенным на них ссылкам. Таким образом робот находит новые адреса, ищет контент и добавляет его в Caffeine. Когда пользователь ищет информацию, робот показывает ему сайт, который считает релевантным запросу.
Что такое индекс ПС?
Вся информация с сайтов, доступная роботам, хранится и обрабатывается в индексе – обширной базе поисковых систем.
Рейтинг в ПС
Когда пользователь что-то ищет, поисковик просматривает индекс, находит сайты с релевантным запросу контентом и демонстрирует их в результатах выдачи. Сортировка сайтов по релевантности – это и есть ранжирование, или формирование рейтинга. Чем выше сайт в выдаче, тем больше он соответствует запросу, по мнению ПС.
Можно заблокировать роботам ПС возможность сканировать или индексировать часть или весь ваш сайт. На это могут быть причины, но если вы хотите, чтобы ресурс отображался в выдаче, он должен быть доступен для ботов.
В SEO не все поисковые системы равны
У Google самая большая доля рынка, но насколько важна оптимизация для Bing, Yahoo и других? На самом деле, несмотря на существование более 30 основных поисковых систем, сообщество SEO обращает внимание только на Google. Почему? Подавляющее большинство людей ищут в Google. Если мы включим Google Images, Google Maps и YouTube (собственность Google), более 90% поисков будет выполняться через Google – это почти в 20 раз больше, чем Bing и Yahoo вместе взятые.
Сканирование: находят ли ПС ваши страницы?
Чтобы сайт появился в результатах поиска, он должен быть просканирован и проиндексирован ПС. Прежде всего посмотрите, сколько ваших страниц находится в индексе. Так вы узнаете, сканирует и индексирует ли ПС все страницы, которые нужны, и нет ли в индексе «мусорных» страниц. Один из способов проверить проиндексированные страницы – это «site: yourdomain.com», оператор расширенного поиска. Перейдите в Google и введите «site: yourdomain.com» в строку поиска.
Количество результатов, как на скриншоте выше, примерное, но по ним можно понять, какие страницы в индексе и как они выглядят в выдаче.
Более точные данные можно получить из отчета об индексировании в Google Search Console (есть возможность бесплатной регистрации аккаунта). Этот инструмент – ключ к пониманию количества проиндексированных страниц, также он позволяет отправлять карту сайта.
Распространенные причины, по которым сайт может отсутствовать в выдаче:
Как ПС должны сканировать сайт?
Бывает, что в индекс попадают неважные или мусорные страницы, а важные, наоборот, отсутствуют. Если это ваш случай, с помощью инструментов оптимизации можно исправить ситуацию и указать роботам, как сканировать сайт. Подробнее об этом – ниже.
Какие страницы не должны сканироваться и индексироваться? Старые URL-адреса с некачественным контентом, повторяющиеся URL (например, параметры сортировки и фильтрации для электронной коммерции), специальные страницы с промокодом, промежуточные или тестовые страницы и т. д.
Чтобы робот не учитывал такие страницы или разделы сайта, используйте robots.txt.
Robots.txt
Файлы robots.txt находятся в корневом каталоге сайта (например, yourdomain.com/robots.txt). В них содержится указание, с какой скоростью роботам сканировать сайт, какие страницы боты не должны “трогать” и пр.
Как бот обрабатывает файлы robots.txt:
Из практики: robots.txt не предназначен для того, чтобы запрещать индексацию каких-либо страниц. Если вам необходимо запретить страницы сайта для индексации ПС, используйте теги:
Оптимизируйте краулинговый бюджет!
Бюджет сканирования – это среднее количество URL-адресов, которые робот просканирует на сайте перед тем, как покинуть его. Оптимизация краулингового бюджета гарантирует, что робот не будет тратить время на сканирование неважных страниц, рискуя проигнорировать важные. Бюджет сканирования наиболее значим для очень больших сайтов с десятками тысяч URL, но никогда не стоит блокировать поисковым роботам доступ к контенту, который вам определенно не важен. Просто убедитесь, что не заблокировали доступ сканера к страницам, на которых вы добавили другие директивы, например, канонические теги или теги noindex. Если для робота заблокирован доступ к странице, он не сможет увидеть инструкции на ней.
Не все роботы используют robots.txt. Яркий пример: злоумышленники (например, парсеры адресов электронной почты) создают ботов, которые игнорируют этот файл. Некоторые люди используют файлы robots.txt для определения, где вы разместили личный контент, частные страницы (например, входа и администрирования). Чтобы предотвратить несанкционированный доступ к ним, лучше не размещать их в robots.txt, а закрывать для индексации тегом NoIndex (об этом подробнее тоже скажем ниже).
Определение параметров URL в GSC
Некоторые сайты (чаще всего в сфере электронной коммерции) делают один и тот же контент доступным по нескольким разным URL, добавляя к адресам определенные параметры. Если вы когда-либо совершали покупки в интернете, вы, вероятно, пользовались фильтрами. Например, вы можете написать запрос «обувь» в интернет-магазине, а затем уточнить поиск по размеру, цвету и стилю. Каждый раз при уточнении URL-адрес немного меняется:
Как Google узнает, какую версию URL-адреса показывать? Google неплохо справляется с определением репрезентативного URL самостоятельно, но вы можете использовать функцию параметров адреса в Google Search Console, чтобы точно сообщить ПС, как вы хотите, чтобы они обрабатывали ваши страницы. Если вы используете эту функцию, чтобы сообщить роботу «не сканировать URL-адреса с параметром ____», то вы, по сути, просите скрыть этот контент от робота, что может привести к удалению этих страниц из результатов поиска. Это то, что вам нужно, если параметры создают повторяющиеся страницы.
Могут ли сканеры найти весь ваш важный контент?
Иногда ПС может находить части вашего сайта путем сканирования, но другие страницы или разделы могут быть скрыты по той или иной причине. Важно убедиться, что поисковые системы могут обнаруживать весь контент, который вы хотите проиндексировать, а не только главную страницу.
Ваш контент скрыт за формами входа?
Если вы требуете от пользователей входа в систему, заполнения форм или ответов на вопросы перед доступом к определенному контенту, поисковые системы не увидят эти защищенные страницы. Сканер точно не войдет в систему.
А что с формами поиска?
Роботы не могут использовать формы поиска. Некоторые люди считают, что если они разместят на своем сайте окно поиска, поисковые системы смогут найти все, что ищут их посетители.
Скрыт ли текст в контенте другого формата?
Форматы медиаконтента (изображения, видео, GIF-файлы и т. д.) не должны использоваться для отображения текста, который вы хотите проиндексировать. Хотя поисковые системы все лучше распознают изображения, нет никакой гарантии, что они смогут их прочитать и понять. Всегда лучше добавлять текст в разметку вашей страницы.
Боты следят за навигацией по сайту?
Чтобы переходить по страницам внутри сайта, роботу нужна перелинковка. Если страница должна отображаться в результатах выдачи, но на нее нет ссылок с других страниц, считайте, что в индексе ее тоже нет. Навигация для ботов должна быть понятной и доступной. Ниже пример правильной и неправильной навигации.
Распространенные ошибки навигации, из-за которых роботы не видят весь ваш сайт:
Четкая навигация и полезная структура папок адресов – залог того, что робот правильно просканирует сайт, а ваши страницы появятся в индексе.
У вас чистая информационная архитектура?
Под этим термином подразумевается правильная организация и разметка контента на страницах, что обеспечивает эффективное взаимодействие пользователя с сайтом. Информация должна быть интуитивно понятной, а посетители не должны долго думать и искать, как попасть на ту или иную страницу.
Вы составляете карты сайта?
Это полный список страниц сайта, которые роботы могут использовать для сканирования и индексации контента. Чтобы быть уверенными, что бот видит ваши страницы, создайте карту сайта и добавьте ее через Google Search Console.
Убедитесь, что в список попали только те страницы, которые должны быть проиндексированы. Также не забудьте прописать указания для поисковых ботов. Например, не включайте URL в карту сайта, если он заблокирован через robots.txt, а также адреса-дубликаты вместо предпочтительных канонических версий.
Если на вашем сайте нет ссылок на другие ресурсы, вы все равно можете проиндексировать его, отправив XML-карту сайта в Google Search Console. Нет никакой гарантии, что они включат отправленный URL в свой индекс, но попробовать стоит.
Ошибки сканирования при попытке доступа к URL-адресам
При сканировании робот может столкнуться с ошибками. В Google Search Console доступен отчет «Ошибки сканирования», где вы можете посмотреть “проблемные” адреса. Итак, есть два типа ошибок.
Коды 4xx: ошибки клиента
Ошибки 4xx – это ошибки клиента, при которых робот не может получить доступ к контенту. Одна из наиболее частых ошибок 4xx – это «404 – не найдено». Она происходит из-за опечатки в адресе, удаленной страницы, неработающего перенаправления и пр. Для ПС 404 – это невозможность доступа к URL, для пользователей – повод покинуть сайт (а это уже в минус вам).
Создавайте собственные страницы 404!
Настройте свою страницу 404, добавив ссылки на важные страницы вашего сайта, функцию поиска по сайту и даже контактную информацию. Это должно снизить вероятность того, что посетители покинут сайт, когда они попадут на 404 страницу.
Коды 5xx: ошибки сервера
Ошибки 5xx означают, что сервер, на котором расположена страница, не смог обработать запрос пользователя или ПС и не предоставил доступ к странице. В отчете «Ошибка сканирования» есть соответствующая вкладка. Обычно это происходит из-за того, что время обработки запроса истекло. Просмотрите отчет и советы Google, чтобы понять, как решить проблему подключения к серверу.
Если вы переместили страницу, лучший способ сообщить об этом пользователям и роботам, – настроить 301 редирект (постоянное перенаправление).
Допустим, вы перемещаете страницу с example.com/young-dogs/ на example.com/puppies/. Поисковым системам и пользователям нужен «мост», чтобы перейти от старого URL к новому. Этот мост – 301 редирект.
301 ответ сервера означает, что страница навсегда переместилась в новое место, поэтому избегайте перенаправления URL на нерелевантные страницы, где содержимое старого адреса фактически не существует. Если страница ранжируется по запросу, но перенаправляется на страницу с другим содержимым, она может упасть в рейтинге, потому что контента, который сделал ее релевантной для конкретного запроса, больше нет. 301 редирект – это мощный инструмент, перемещайте URL-адреса ответственно!
У вас также есть возможность 302 редиректа – это временное перенаправление. Если у вас временно недоступен URL, используйте 302 редирект.
Остерегайтесь цепочек переадресации!
Роботу может быть сложно добраться до вашей страницы, если он должен пройти несколько перенаправлений. Google рекомендует максимально ограничить цепочки переадресации. Если вы перенаправляете example.com/1 на example.com/2, а затем решите перенаправить его на example.com/3, лучше всего устранить посредника и просто перенаправить example.com/1 на example.com/3.
Индексирование: как поисковые боты видят и хранят ваши страницы?
То, что ваш сайт открыт для сканирования роботом, еще не значит, что он появится и останется в индексе.
Можно ли посмотреть, как робот видит страницы?
Да, для этого существует кэшированная версия – отображение страницы в том виде, в котором ее сканировал робот в последний визит.
Помните, что частота сканирования и кэширования страниц ПС различается в зависимости от сайта. Если ресурс часто наполняется и обновляется (например, новостные сайты), бот будет посещать его чаще, чем те, где изменения вносятся редко.
Увидеть кэшированную версию страницы можно, кликнув на стрелку рядом с адресом в выдаче и выбрав нужный пункт в списке.
Кроме того, можно просмотреть текстовую версию сайта, чтобы определить, эффективно ли сканируется и кэшируется важный контент.
Удаляются ли страницы из индекса?
Да, и вот самые распространенные причины для этого:
Если вы считаете, что страница сайта, которая ранее была в индексе Google, больше не отображается, вы можете использовать инструмент проверки URL-адресов, чтобы узнать статус, или использовать функцию «Просмотреть как Google», которая имеет параметр «Запросить индексирование», чтобы отправить отдельные URL-адреса в индекс.
Как индексировать ваш сайт? Указание для ПС
Метадирективы роботов
Метадирективы (или «метатеги») – это “команды” для поисковых ботов, указывающие, как им обрабатывать страницу. Устанавливаются через метатеги Robots в ваших HTML-страниц (наиболее часто используемый способ) или через X-Robots-Tag в заголовке HTTP.
Метатег Robots
Метатег robots можно использовать внутри HTML-кода вашей страницы. В нем можно прописывать команды для всех ПС или одной конкретной. Ниже – список самых распространенных тегов и пояснения, когда их ставить.
index/noindex – команда ПС, сканировать и сохранять страницу в индексе или нет. «noindex» означает, что страница не должна появиться в выдаче. По умолчанию ПС индексируют все страницы, поэтому указывать «index» не нужно.
Когда применять: «noindex» пригодится, чтобы исключить из индекса низкокачественные или не нужные в поиске страницы, однако для посетителей они все равно должны быть доступны (например, страницы профиля, созданные пользователями).
follow/nofollow – сообщает поисковым роботам, следует ли переходить по размещенным на странице ссылкам. «Follow» означает, что боты переходят по ним и передают ссылочный вес на эти адреса, «nofollow» – роботы не переходят по ссылкам и не передают вес. По умолчанию все страницы имеют атрибут «follow», указывать его дополнительно не нужно.
Когда применять: nofollow часто используется вместе с noindex, когда вы не хотите, чтобы страница индексировалась. Самостоятельно этот тег прописывают, например, при добавлении статей в блог, чтобы не передавать ссылочный вес на сторонние источники.
noarchive – команда, запрещающая создание кэшированной копии. По умолчанию ПС создают копии всех страниц, которые они индексируют.
Когда применять: яркий пример – интернет-магазин, где цены могут регулярно меняться. Тег noarchive позволит вам не показывать посетителям старые цены.
Вот пример метатега noindex, nofollow для роботов: