Если вы начинающий вебмастер или блогер, и вы собираетесь создать свой сайт и продвинуть его в поиске, то прежде всего, вам необходимо знать азы SEO. А именно, знать как работают поисковики.
Знание основ, поможет вам раскрутить свой сайт и избежать досадных ошибок. Это является первым шагом, прежде чем вы начнете погружаться в мир SEO, то есть, в мир поисковой оптимизации.
Что делает поисковая система?
Задумывались ли вы, сколько раз в день вы используете Яндекс или Google или любую другую поисковую систему для поиска в Интернете?
Это 5, 10 раз или даже больше? Общее количество поисковых запросов огромно. Знаете ли вы, что один только Google обрабатывает более 2 триллионов запросов в год?
Поисковые системы стали частью нашей повседневной жизни. Мы используем их для поиска учебных материалов, для покупок в интернете, для развлечения и отдыха и даже, для зарабатывания денег.
Не будет преувеличением сказать, что мы достигли точки, в которой зависим от поисковых систем практически во всем, что мы делаем.
И причина, по которой это происходит, очень проста. Мы знаем, что поисковые системы Яндекс и Google имеют ответы на все наши вопросы и запросы.
И если раньше поиск начинался с фразы – «Свет мой зеркальце скажи», то теперь поиск начинается с фразы «Привет Алиса», или с "OK Google". Или просто с набора поисковой фразы в браузере в строке поиска.
Что происходит, когда вы вводите запрос и нажимаете кнопку поиска? Как работает внутренний механизм поисковика и как он решает, что показывать в результатах поиска и в каком порядке?
Как работают поисковые системы.
Поисковые системы представляют собой сложные компьютерные программы.
Прежде чем они даже позволят вам ввести запрос и выполнить поиск в Интернете, им необходимо проделать большую подготовительную работу, чтобы при нажатии «Поиск» вы получили набор точных и качественных результатов, отвечающих на ваш вопрос или запрос.
Что включает в себя «подготовительная работа»? Два основных этапа. Первый этап - это процесс обнаружения информации, а второй этап - организация информации таким образом, чтобы ее можно было использовать позже в целях поиска.
Эти этапы широко известным в мире Интернате как сканирование (или краулинг) и индексирование.
Шаг 1: Сканирование.
Поисковые системы имеют ряд компьютерных программ, называемых поисковыми роботами (или веб-паук, веб-краулер), которые отвечают за поиск информации, доступной в Интернете.
Чтобы упростить сложный процесс, вам достаточно знать что работа этих роботов состоит в сканировании Интернета и поиске серверов, также называемых веб-серверами, на которых размещаются веб-сайты.
Поисковые роботы создают список всех веб-серверов для сканирования, определяют количество сайтов, размещенных на каждом сервере, и затем начинают работу.
Они посещают каждый веб-сайт и, используя различные методы, пытаются выяснить, сколько у них страниц, на которых размещено различное содержимое, такое как текст, изображения, видео или любой другой формат (CSS, HTML, javascript и так далее).
Зачем нужно заботиться о процессе сканирования?
Ваша первая задача при оптимизации сайта для поисковых систем состоит в том, чтобы гарантировать, что поисковики могут получить к нему правильный доступ. В противном случае, если они не смогут «прочитать» ваш сайт, то вам не стоит ожидать высокого рейтинга в поисковиках.
Сканерам предстоит много работы, и вам следует постараться сделать их работу проще.
Есть несколько вещей, которые нужно сделать, чтобы программы сканеры могли без проблем обнаружить и получить доступ к вашему веб-сайту.
Используйте файл Robots.txt, чтобы указать, какие страницы вашего сайта не должны попасть в поиск. К таким страницам относятся различные служебные страницы, такие как панель управления сайтом и ряд других страниц, которые, по различным причинам, не должны попасть в поисковую выдачу.
У крупных поисковых систем, таких как Яндекс и Google, есть инструменты (также называемые инструментами для веб-мастеров), которые вы можете использовать для предоставления им дополнительной информации о вашем сайте (количество страниц, структура и так далее.). Тогда поисковым роботам не придется искать ваш сайт самостоятельно.
Используйте XML-карту сайта, чтобы перечислить все важные страницы вашего сайта. Тогда поисковые роботы будут знать, на каких страницах нужно отслеживать изменения, и какие страницы игнорировать.
При посещении сайта, помимо учета количества страниц, они также переходят по любым ссылкам (указывающим на страницы вашего сайта или на внешние сайты) и, таким образом, обнаруживают все больше и больше страниц.
Поисковые роботы делают это постоянно, а также отслеживают изменения, внесенные на веб-сайт, чтобы они знали, когда новые страницы добавляются или удаляются, когда обновляются ссылки и тому подобную информацию.
Если принять во внимание, что сегодня в Интернете насчитывается более сотни миллиардов отдельных страниц и ежедневно публикуются еще миллионы новых страниц, то можно представить, насколько это большая работа.
Шаг 2: Индексирование
Одного сканирования недостаточно для создания поисковой системы.
Информация, собранная поисковыми роботами, должна быть упорядочена, отсортирована и сохранена, чтобы ее можно было обрабатывать алгоритмами поисковой системы до того, как она станет доступной для конечного пользователя.
Этот процесс называется индексированием.
Поисковые системы не хранят всю информацию найденную на странице в своем индексе, но они хранят такие вещи, как: когда она была создана или обновлена, заголовок и описание страницы, тип контента, связанные ключевые слова, входящие и исходящие ссылки и большое количество других параметров, которые необходимы для их алгоритмов.
Зачем заботиться о процессе индексации?
Это очень просто, если страницы вашего сайта не находятся в индексе поисковых систем, то страницы не будут отображаться в поисковой выдаче.
Это также означает, что чем больше страниц у вас в индексе поисковой системы, тем больше у вас шансов появиться в результатах поиска, когда кто-то набирает свой запрос в поисковой строке.
Обратите внимание, что я упомянул слово «появится в результатах поиска», что означает любую позицию. Но само появление в поиске, еще не означает, что страницы сайта будут отображаться на верхних строках в Яндекс и Google.
Для того, чтобы сайт появился на первых 5 позициях в поисковой выдаче, вы должны оптимизировать свой сайт для поисковых систем, используя процесс под названием поисковая оптимизация или SEO.
Как узнать, сколько страниц вашего сайта включено в индекс Яндекс и Google?
Есть два способа сделать это.
Откройте Google и используйте оператор site, затем наберите двоеточие «:», а затем ваше доменное имя. Таким образом вы узнаете, сколько и каких страниц находится в индексе поисковой системы.
Вот так это выглядит в Google:
А вот так в Яндексе:
Добавьте сайт в Google Search Console, подождите несколько дней, пока поисковик не обработает ваш сайт, после чего, вы сможете увидеть отчет Покрытие и, в частности, на Сведения по проиндексированным страницам.
В Яндекс Вебмастере также можно просмотреть, какие страницы находятся в индексе поисковика Яндекс.
Шаг 3: Ранжирование
Третий и последний шаг в этом процессе заключается в том, что поисковые системы решают, какие страницы показывать в поисковой выдаче и в каком порядке, когда пользователь вводит свой поисковый запрос.
Это достигается за счет использования поисковых алгоритмов ранжирования. Проще говоря, это алгоритм, по которому работают программы поисковиков. По алгоритму определяется, какие страницы отвечают на запрос пользователя и в каком порядке их показывать.
Как работают алгоритмы поисковых систем?
За годы алгоритмы ранжирования поисковых систем сильно развились и стали действительно сложными.
В самом начале это было сопоставление заголовков поисковому запросу. Затем начали анализировать текст. Тот текст, в котором частота слов, связанных с поисковым запросом, выходил в топ выдаче.
Все это приводило к тому, что вебмастера начали насыщать страницы таким поисковыми фразами и за счет этого выходили в топ выдачи. Проблема была в том, что такие тексты не являлись качественными с точки зрения обычного пользователя. Зачастую, такие тексты невозможно было читать.
Поэтому поисковые системы прошли долгий путь эволюции, в результате которого, сейчас уже учитываются сотни различных параметров сайта.
Чтобы было проще понять, вот упрощенный процесс работы факторов ранжирования поисковых систем:
1й этап: Анализ пользовательского запроса
Первый шаг для поисковых систем, чтобы понять, какую информацию ищет пользователь. Для этого они анализируют пользовательский запрос (поисковые термины), разбивая его на ряд значимых ключевых слов.
Ключевое слово - это слово, которое имеет определенное значение и цель.
Например, когда вы набираете «Как сделать шоколадный торт», поисковые системы знают из слов «как сделать», что вы ищете инструкции о том, как сделать шоколадный торт, и поэтому возвращаемые результаты будут содержать сайты о кулинарии с рецептами.
Если вы выполняете поиск «Купить восстановленный…», они знают из слов «купить и восстановленный», что вы ищете что-то купить, и возвращаемые результаты будут включать веб-сайты электронной коммерции и онлайн-магазины.
Машинное обучение помогло им связать связанные ключевые слова вместе. Например, они знают, что значение этого запроса «как починить телефон» такое же, как и «как отремонтировать телефон».
Они также достаточно умны, чтобы понимать орфографические ошибки, множественное и единственное число, склонения и в целом извлекать значение запроса из естественного языка (письменного или устного в случае голосового поиска).
Также, если посетитель ошибется раскладкой клавиатуры, то поисковик тоже его поймет и выдаст нормальную выдачу.
2й этап: Поиск подходящих страниц
Второй шаг - изучить страницы в индексе и решить, какие страницы могут дать наилучший ответ на данный запрос.
Это очень важный этап во всем процессе как для поисковых систем, так и для владельцев веб-сайтов.
Поисковые системы должны возвращать наилучшие результаты максимально быстрым способом, чтобы их пользователи были довольными, а владельцы сайтов хотят, чтобы их сайты занимали первые позиции в поисковиках и собирали больше трафика.
Это также этап, на котором хорошие методы SEO могут повлиять на решение, принятое алгоритмами.
Чтобы дать вам представление о том, как работает ранжирование, вот наиболее важные факторы:
- Релевантность заголовка и контента - насколько релевантный заголовок и контент страницы с запросом пользователя.
- Тип контента - если пользователь запрашивает картинку, то в выдаче будут изображения, а не текст.
- Качество контента - контент должен быть написан грамотно, он должен быть полезным и информативным.
- Качество сайта – Поисковики не будут показывать в топ выдаче сайты, которые не соответствуют их стандартам качества.
- Дата публикации. Для запросов, связанных с новостями, поисковики будут показывать наиболее свежие записи, поэтому дата публикации также учитывается. Но даже по не новостным запросам, дата может иметь значение.
- Популярность страницы. Это связано не с тем, сколько трафика имеет веб-сайт, а с тем, как другие сайты воспринимают эту конкретную страницу. Страница, которая имеет много входящих ссылок (обратных ссылок) с других сайтов, считается более популярной, чем другие страницы без ссылок, и, следовательно, имеет больше шансов войти в топ поисковой выдачи.
- Язык страницы – если запрос сделан на русском языке, то в поисковой выдаче будут преимущественно страницы на русском языке, а не на каком-то другом.
- Скорость веб-страниц - сайты, которые загружаются быстро (примерно 2-3 секунды), имеют небольшое преимущество по сравнению с сайтами, которые загружаются медленно.
- Тип устройства - пользователям, выполняющим поиск на мобильных устройствах, предоставляются мобильные страницы, будь это AMP страницы у Google или турбо страницы у Яндекс.
- Местоположениее - пользователям, которые ищут результаты в своей области, то есть «Итальянский ресторан в Москве», будут показаны результаты, связанные с их местоположением.
Все это, только верхушка айсберга. Как я упомянул ранее, поисковики используют более сотни различных факторов, чтобы гарантировать, что их пользователи будут довольны полученными результатами.
Зачем заботиться о том, как работают алгоритмы ранжирования в поисковых системах?
Чтобы получать трафик от поисковых систем, ваш сайт должен появляться на верхних позициях на первой странице результатов.
Статистически доказано, что большинство пользователей выбирают один из 5 верхних результатов (как для компьютеров, так и для мобильных устройств).
Занятие сайтом позиций на второй, и далее страниц в поисковой выдаче, не принесет сайту никакого трафика.
Трафик - это только одно из преимуществ SEO. Как только ваш сайт начнёт занимать первые места, и дальше уже будет проще. Многие люди будут сами уже проставлять ссылки на ваш сайт, сайт будет чаще посещаться поисковыми роботами и новые страницы будут быстрее загоняться в топ выдачи. Ну а это, снова увеличит трафик, и плюс еще, увеличит стоимость прямой рекламы на сайте.
Таким образом, знание работы поисковых систем может помочь вам настроить ваш сайт и повысить его рейтинг и посещаемость.
