В июне 2005 года Гугл придумал протокол XML Sitemap, позволяющий вебмастерам информировать поисковые системы о страницах, имеющихся на сайте для индексирования. В ноябре 2006 года о поддержке этого протокола объявили MSN и Yahoo. И вот, наконец, сегодня 2 июня 2008, спустя 3 года после объявления протокола Гуглом на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом. Ну что же, лучше поздно, чем никогда.
Сообщить Яндексу о файле Sitemap можно двумя способами:
- Добавить URL файла Sitemap в раздел “Файлы Sitemap” сервиса Яндекс.Вебмастер.
- Добавить директиву Sitemap в файл robots.txt вашего сайта, например:
Sitemap: http://developerguru.net/sitemap.xml
Владельцам блога на DotNetBlogEngine будет приятно узнать (если, конечно, вы еще не знали), что файлы Sitemap поддерживаются этим движком изначально, по URL /sitemap.axd.
WordPress изначально не поддерживает Sitemap, но это легко исправить с помощью плагина Google (XML) Sitemaps Generator for WordPress, который создаст файл Sitemap с информацией о всех ваших постах и страницах, и даже запишет нужную директиву в файл robots.txt. А при добавлении новых постов он перегенерирует файл.
Если ваш блог работает на другом движке, который не поддерживает файлы Sitemap или вы по каким-то причинам не хотите устанавливать плагин, можно воспользоваться сервисом XML-Sitemaps, который по указанному вами URL сгенерирует xml файл. Вам останется только скачать и зааплоадить его в корень вашего сайта. Понятно дело, что такой файл автоматически обновляться не будет.
Осталось сказать, что добавление файла Sitemap не ускоряет индексацию и не улучшает ранжирование вашего сайта, но поможет ПС узнать обо всех страницах вашего сайта и проинформировать о частоте обновления каждой из них.