Нужна ли сайту карта? Обязательно. Причем не одна, а целых две. Для двух типов посетителей. Одна для посетителей-людей, а вторая для посетителей - поисковых роботов. В соответствии со способом восприятия, карта сайта для людей создается в формате обычной HTML веб-страницы, содержащей своего рода оглавление, содержание сайта, как в обычной книжке. Поисковому роботу такую карту понять трудно, поэтому для него пишется карта в расширенном формате XML.
Любая карта предназначена для того, чтобы дать представление путешественнику обо всем, что располагается на местности. Обозначить все пути и конечные точки, чтобы путник не заблудился. Точна такова роль и карты сайта. Помочь поисковому роботу как можно легче и быстрее найти абсолютно все страницы сайта и занести их содержание в Индекс поисковой системы. Тогда любой пользователь интернета сможет мгновенно найти полезную информацию, которая содержится в контенте сайта.
Человеческая карта сайта требуется масштабным ресурсам, когда обычных панелей навигации уже не достаточно, чтобы обозначить абсолютно все страницы сайта. Если новостной портал состоит из 500.000 страниц, ни в какую навигацию такой объем не уместить. Тогда создается отдельная страница, на которой вся архитектура сайта представлена в древовидной форме. С разделами и подразделами, разветвляющимися в отдельные страницы-листики.
Кроме помощи людям в ориентировании по сайту, карта является дополнительным, весьма существенным элементом внутренней перелинковки. На карте все страницы сайта представлены в виде внутренних гиперссылок. Это создает дополнительный ссылочный вес и повышает значимость ресурса для поисковых систем. В поисковой системе Google ссылочная масса исчисляется для каждой веб-старницы отдельно. Для Google не важно, внешняя ссылка или внутренняя. Потому, дополнительные десятки и сотни ссылок с карты сайта повышают параметр PageRank. Так наличие карты сайта помогает продвижению сайта в поисковой выдаче.
XML карта для роботов работает в паре с файлом robots.txt. В файле карты представлен список всех страниц сайта, а файл robots.txt является управляющим. В нем веб-мастер подробно прописывает, какие именно страницы сайта поисковым роботам следует индексировать, а на какие им заходить запрещено. Дополнительно указаны часы и дни посещений.
По техническим причинам часто бывает необходимо, чтобы сайт имел дублирующие страницы. Это может быть нужно для обеспечения удобств посетителей в интернет-магазине или мало ли что такое еще. Поисковым системам наличие дублирующих страниц очень не нравится, поскольку это вызывает излишний расход аппаратных ресурсов поисковика. Поэтому поисковые системы стараются пресекать дубли в целях экономии. Так что, чтобы не конфликтовать с могущественными Google и Яндекс, дубли страниц закрываются от индексирования с помощью карты XML и файла robots.txt.
Для сайта жизненно важна быстрая, полная и регулярная индексация всех страниц поисковиками. Обычно молодому сайту, недавно опубликованному, представляет проблему не то что полная индексация, а вообще роботы не приходят. Просто не знают о существовании нового ресурса. В таком случае, чтобы напомнить о своем существовании, веб-мастер указывает поисковым системам адреса карт своего сайта. И тогда можно ожидать поискового робота в гости.
В большинстве систем управления контентом карты сайта создаются автоматически. Веб-мастеру остается только проконтролировать результат, чтобы все было указано так, как полезно для продвижения ресурса.
Как альтернативный вариант создания карт сайта можно посетить соответствующий онлайн сервис. В интерактивную форму задается адрес сайта, и сервис автоматически генерирует две карты, для людей и для роботов.
10 декабря 2013