Прежде чем пойдут посетители на сайт с поиска, Google должен узнать про ваш сайт. Более того, он добавить сайт со всеми страницами в свою базу. Но это не всегда происходит. Почему?
Чаще всего, вы вполне можете положится на Гугл, чтобы он сам правильно проиндексировал ваш сайт. В конце концов, это одна из самых базовых его задач, которую поисковик делает ежедневно в с миллионами а то и с сотнями миллионов сайтов.
Однако иногда, бывают сбои. В результате чего, страницы сайта не попадают даже в индекс поисковика, не говоря уже о первых страницах в поисковой выдаче.
Не попадание в индекс Google может произойти по разным причинам: технические проблемы, некачественный контент, санкции к сайту в целом.
Как определить количество проиндексированных страниц.
Для начала, можно посмотреть, а сколько всего страниц сайта попало в индекс. Сделать это можно с помощью с различных, как правило бесплатных сервисов. Например, с помощью pr-cy.ru. Вводите адрес своего сайта и нажимаете кнопку «Анализировать». В результате вы получите ряд данных, включая данные о том, сколько страниц проиндексировано в Гугл и в Яндекс.
Таким образом мы можем узнать, сколько страниц уже попало в индекс Гугл и если это количество заметно меньше чем у Яндекс или заметно меньше, чем количество страниц у сайта, значит есть определенные проблемы.
Как узнать, какие страницы проиндексированы?
1.Спросить у Гугла)) Вбиваете в поиск слово site, ставите двоеточие и название своего сайта. Все это, без пробелов. В результате, Гугл сам выдаст проиндексированные страницы.
2.Если вы просто хотите узнать о конкретной странице, тогда вбейте в поиск адрес интересующей вас страницы.
3.Если сайт ваш, то о проиндексированных страницах вы можете узнать из Google Search Console. Для этого, перейдите на вкладку «Покрытие» и откройте отчет.
После чего, кликните по вкладке «Страницы без ошибок» и в ниже появившейся табличке, кликните по проиндексированным страницам.
В результате, вы получите список проиндексированных страниц.
4.С использованием SEO программ, таких как Netpeak Spider. Если говорить про Netpeak Spider, то это программа платная, однако, имеет триал версию на четырнадцать дней с полным функционалом. И с ее помощью можно проверить индексацию страниц.
Как исправить непроидексированные страницы?
1.Гугл пока что еще не проиндексировал ваш сайт.
Иногда поисковику может потребоваться неделя или больше, чтобы обновить результаты поиска. Это потому, что ваш сайт новый и не имеет никаких входящих ссылок.
Сначала добавьте свой сайт в Google Search Console , затем добавьте свой URL sitemap.xml, после чего, вы сможете запросить повторное сканирование вашего сайта. Однако таких запросов так много, что эта функция не всегда работает сразу (особенно если у вас новый или большой сайт).
Если вы не хотите создавать аккаунт в Google Search Console, то можно сайт добавить в поиск, отправив адрес карты своего сайта следующим образом:
http://www.google.com/ping?sitemap=https://example.com/sitemap.xml
Где вместо example.com, вставьте свой сайт.
2.На вашем сайте стоит запрет на индексирование сайта.
Обычно новый сайт специально закрывают от индексирования в поисковых системах, а потом зачастую, просто забывают про запрет, в результате, сайт остается не проиндексированным. Проверить это можно в двух местах, в файле robots.txt или запрет может стоять в админ панели управления сайтом.
Вот каким образом будет выглядеть запрет в файле robots.txt
User-agent: Googlebot
Disallow: /
Это запрет на индексацию в Гугл
User-agent: *
Disallow: /
А это запрет на индексацию сайта во всех поисковиках.
Что касается админки сайта, то в WordPress запрет будет выглядеть так.
И наконец, закрытым от индексации может как весь сайт, так и отдельно взятая страница. Откройте код страницы сайта, и проверьте, нет ли на страницы такого тега
meta name="robots" content="noindex,nofollow"
Этот тег просит поисковики не индексировать сайт. Соответственно, такая страница не попадет в индекс.
3.Ваш сайт был удален из Гугл.
Это самая сложная ситуация. По вашей вине, или по вине прежнего владельца, Гугл мог принять решение об удалении сайта из индекса Гугл. В этом случае, вышеперечисленные методы вам не помогут.
Об удалении сайта из индекса, гугл сообщает через Google Search Console. Если у вас такая ситуация, то вам придется переделывать весь сайт, после чего, подавать заявку на повторное индексирование сайта. И если на сайте проблемы устранены, то сайт будет проиндексирован.
Подробнее об этом, вы можете узнать из справки самого Гугл.
Как ускорить индексацию сайта.
Если же с сайтом у вас все в порядке, но вы хотите, чтобы Гугл побыстрее проиндексировал сайт, то вы можно сделать следующие шаги:
- Добавить сайт в Google Search Console.
- Создать карту сайта - sitemap.xml.
- Создать карту сайта для людей.
- Правильно настроить файл robots.txt.
- Добавить ссылки с трастовых форумов.
- Правильно перелинковать сайт.
- Добавить сайт в социальные сети, такие как Facebook, Вконтакте, Twitter
