После сбора информации о странице она обрабатывается и вносится в базу. После этого страница считается проиндексированной, и принимается во внимание поисковой системой.

Отсутствие страницы в индексе поисковой системы означает, что данный поисковик ничего не знает о существовании страницы, а значит, она не появится в выдаче результатов поиска, даже если будет идеально соответствовать поисковой фразе. Обычно для того, чтобы страницы сайта проиндексировались, требуется лишь время. Но бывает, что нужно выполнить кое-какие действия и учесть при работе над содержимым сайта определенные моменты.

В среднем индексация нового сайта или отдельных измененных страниц занимает 2-3 дня в Google и до двух недель в Яндексе. Естественно, индексации стоит ждать после того, как поисковая система узнает о существовании сайта.

Способов уведомить поисковик о сайте два.

Первый способ — заполнение специальной формы. После уведомления адрес сайта обрабатывается в порядке очереди и добавляется в базу адресов для поискового робота. Примечательно, что робот получает только адрес главной страницы, а все второстепенные страницы ресурса находит по ссылкам с главной.

Второй способ не требует каких-либо действий со стороны вебмастера. Поисковый робот находит сайт самостоятельно, благодаря ссылке на уже проиндексированный поисковиком ресурс. Преимущество такой естественной индексации заключается в том, что она не требует от вебмастера каких-либо действий. Кроме того, сайт ко времени посещения поисковым роботом уже будет иметь несколько внешних ссылок, что благотворно скажется на его продвижении.

Чтобы индексация сайта прошла как можно быстрее, полнее и легче, при создании сайта стоит принять во внимание несколько простых правил.

• Лучше всего выполнить внутреннюю перелинковку так, чтобы на любую внутреннюю страницу можно было попасть не более чем в три клика (перехода). Если же сайт имеет несколько тысяч страниц и его структура слишком сложна и запутана, следует сделать карту сайта, которая поможет поисковому роботу посетить страницы в дальней иерархии.
• Идентификаторы сессии серьезно осложняют работу поискового робота. Если без идентификаторов обойтись не получится, лучше всего реализовать навигацию по сайту при помощи скриптов и дублировать ссылки обычным методом.
• Объем каждой страницы не должен превышать 100-200 килобайт. В противном случае робот может просто игнорировать такую страницу или проиндексировать лишь ее начало. Если сократить вес страницы невозможно, важную информацию стоит размещать как можно выше.
• Если этого требует раскрутка сайта, запретить индексацию некоторых страниц или разделов сайта можно при помощи файла robots.txt. Также можно закрыть от индексации внешние ссылки тегами «NOINDEX» (для Яндекса) или «NOFOLLOW» (для Google).
• Количество проиндексированных страниц сайта постоянно меняется. Прибавляются новые страницы, изменяется содержимое на старых. Бывает и так, что во время посещения сайта поисковым роботом страница была недоступна. Вот почему качество сервера важно для продвижения сайта. Чтобы ускорить индексацию новой страницы или всего сайта, стоит позаботиться о внешних ссылках. Чем больше внешних ссылок установлено на странице, тем быстрее поисковый робот обнаружит ваш сайт.