Индексация сайта в Яндексе

Индексация сайта в поисковых системах важна для каждого вебмастера. Ведь для качественного продвижения проекта следует следить за его индексацией. Я опишу процесс проверки индексации в Яндексе.

Индексация в Яндекс

Робот Яндекса день за днем просматривает сайты в поисках чего-нибудь «вкусненького». Собирает в топ выдачи те сайты и страницы, которые, по его мнению, наиболее этого заслуживают. Ну или просто Яндекс так захотел, кто его знает 🙂

Мы, как настоящие вебмастера, будем придерживаться теории, что чем качественнее сделан сайт, тем выше его позиции и больше трафик.

Проверить индексацию сайта в Яндексе можно несколькими способами:

• с помощью Яндекс Вебмастера;
• с использованием операторов поисковой системы;
• с помощью расширений и плагинов;
• с помощью онлайн-сервисов.

Есть отличный сервис для ускорения индексации сайта в Google. Страницы индексируются значительно быстрее. Есть лимит – до 2000 страниц в день.

Индексация страниц сайта в Яндекс Вебмастер

Чтобы понять, что же там поисковик накопал на наш сайт, нужно зайти в наш любимый Яндекс Вебмастер в раздел «Индексирование».

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

• новые – страницы, которые недавно появились на сайте либо робот их только что обошел;
• изменившиеся – страницы, который поисковик Яндекса раньше видел, но они изменились;
• история обхода – количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

В этом пункте отображены страницы, которые Яндекс нашел.

N/a – URL не известен роботу, т.е. робот её раньше не встречал.

Какие выводы из скрина можно сделать:

1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет.
2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо – Яндекс удалил, а что надо – Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется – добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

• для отслеживания изменений количества страниц в Яндексе;
• для слежения за добавленными и исключенными страницами;
• для выяснения причин исключения сайта из поисковой выдачи;
• для получения информации о дате посещения сайта поисковиком;
• для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Проверка количества страниц в индексе Яндекса с помощью операторов

Помимо Яндекс Вебмастера проверить индексацию страницы можно с помощью операторов непосредственно в самом поиске.

Будем использовать два оператора:

• «site» – поиск по всем поддоменам и страницам указанного сайта;
• «host» – поиск по страницам, размещенным на данном хосте.

Воспользуемся оператором «site». Заметьте, между оператором и сайтом нет пробела. 18 страниц находится в поиске Яндекса.

Воспользуемся оператором «host». 19 страниц проиндексировано Яндексом.

Проверка индексации с помощью плагинов и расширений

1. Плагин для браузера RDS bar. Плагин для быстрого анализа показателей сайта и, в том числе, показа проиндексированных страниц в поисковиках Яндекс и Google. 
2. Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

Проверить индексацию сайта с помощью сервисов

Таких сервисов очень много. Я покажу вам два.

Serphunt

Serphunt – онлайн-сервис для анализа сайта. У них есть полезный инструмент для проверки индексации страниц.

Одновременно можно проверить до 100 страниц сайта по двум поисковикам – Яндекс и Google.

Чтобы проверить индексацию страницы внесите её в список:

Нажимаем «Начать проверку» и через несколько секунд получаем результат:

Netpeak Spider

На мой взгляд хороший сервис для анализа сайта – это Netpeak Spider. Тем более на момент написания статьи там 14-дневная бесплатная версия.

Помимо индексации сайта, можно проверить гору других данных:

• битые ссылки;
• внутренние и внешние ссылки;
• коды ответа;
• мета-теги;
• файл robots.txt;
• ошибки и прочее.

Ускоренная индексация страниц сайта в Яндекс Вебмастер

Иногда требуется ускорить процесс индексации страниц Яндексом. В Яндекс Вебмастере есть инструмент «Переобход страниц» в разделе «Индексирование».

Здесь нужно добавлять полные адреса страниц, которые вы хотите проиндексировать в первую очередь.

В день можно добавлять до 20 страниц.

Почему не индексируется сайт?

1. Сайт новый. Поисковику нужно время, чтобы он успел просканировать ваш сайт.
2. Отсутствует Sitemap. Карта сайт может помочь поисковому роботу быстрее найти страницы и быстрее их отправить в поиск.
3. Проблемы с сайтом. В панели Яндекс Вебмастера отображаются все ошибки и нарушения, которые видит поисковик. Проверяйте сервис и решайте проблемы.
4. Запрет индексации с помощью метатега «robots». Возможно, вы что-то поменяли в своей CMS, а конкретнее что-то с индексацией сделали 🙂 При данной проблеме в коде страниц сайта появляется следующая строка:
5. Ошибка в файле robots.txt. Если вы нашли конструкцию Disallow: /, то её надо удалить.