Файл sitemap xml. Создание Sitemap

Из этой статьи вы узнаете, как создать файл Sitemap и предоставить Google доступ к нему.

Создание и отправка файлов Sitemap

Форматы файлов Sitemap

Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол . Google в настоящее время не поддерживает атрибут В файлах Sitemap.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap , перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.

Текстовый файл

Если в файле Sitemap есть только адреса страниц, вы можете отправить Google обычный текстовый файл с этими URL (по одному в каждой строке). Пример:

Http://www.example.com/file1.html http://www.example.com/file2.html

• Необходимо использовать кодировку UTF-8.
• Файл не должен содержать ничего, кроме списка URL.
• Этому текстовому файлу можно дать любое имя, но необходимо использовать расширение.txt (например, sitemap.txt).

Сайты Google

Если сайт был создан и подтвержден с помощью сервиса "Google Сайты", файл Sitemap создается автоматически. Его нельзя изменить, но можно отправить в Google , чтобы получать сведения для отчетов. Обратите внимание, что если в одном подкаталоге содержится более 1000 страниц, файл Sitemap может отображаться некорректно.

• Если ваши страницы размещены на Google Сайтах , файл Sitemap должен находиться по адресу http://sites.google.com/site/VashSait /system/feeds/sitemap .
• Если сайт создан с помощью Google Apps , URL файла Sitemap должен быть таким: http://sites.google.com/VashDomen /VashSait /system/feeds/sitemap .

Расширения файлов Sitemap

Google поддерживает расширенный синтаксис в файле Sitemap для приведенных ниже типов информации. С его помощью можно добавлять описание видео, изображений и другого контента для улучшения его индексации.

Sitemap позволяет владельцам сайтов и веб-мастерам сообщить поисковым системам о структуре сайта и обновлении контента на его страницах. Таким образом при правильном использовании sitemap можно добиться лучшего индексирования страниц веб-ресурса поисковыми системами. Соответственно, при неправильном использовании данной технологии можно навредить самому себе (точнее своему интернет детищу).

В этой статье я хочу коротко рассказать вам о Google Sitemap, предоставить программный код на Java для простой генерации sitemap.xml, ну и открыть некоторые нюансы обнаруженные моим другом и мной, и о которых, как мне кажется, многие не знают.

Sitemap состоит из набора блоков, каждый из которых описывает одну страницу сайта и предоставляет некоторую информацию о динамике ее обновления. Вот небольшой пример sitemap.xml, сгенерированный с помощью программы на java, которую я предоставлю ниже:

http://www.javenue.info/post/20 weekly 0.5 2009-02-20T15:32:20+02:00 http://www.javenue.info/post/73 daily 0.3 http://www.javenue.info/post/2 weekly 0.5

Расскажу о каждом элементе входящем в блок url:

1. loc - собственно URL страницы

2. changefreq - как часто данная страница может изменяться. Возможные значения - always, hourly, daily, weekly, monthly, yearly, never. Судя по всему, данный параметр еще используется поисковиками, для того чтобы вычислить приблизительную дату следующего захода на страницу.

3. priority - приоритет страницы, помогает поисковому спайдеру определить, какие из страниц более приоритетные для краулинга по вашему мнению. Так как обычно количетсов страниц, которые скачает краулер ограничено, данный параметр может оказаться очень полезным для сайтов, где контент меняется очень часто. На выдачу поисковиков данный параметр не влияет.

4. lastmod - время последнего обновления конетнта страницы. Для сайтов со статическим контентом можно не использовать lastmod, changfreq будет более чем достаточно.

Ну а вот ужасная вещь: практически во всех статьях, которые я читал о google sitemap и о генерации сайтмеп, есть очень подозрительная вещь:

2009-02-20

Здесь не указано время обновления страницы. Google конечно понимает разные форматы дат, но давайте рассмотрим такой случай:

1. вы обновили страничку, например 2009-02-20.

2. crawler заходит на сайт, скачиавет страничку. Скорее всего он помечает, что заходил на эту страницу 2009-02-20.

3. В этот же день вы находите ужасные недочеты в контенте страницы и полностью переделываете ее. После изменений дата lastmod все равно остается 2009-02-20.

4. в следующий раз spider скачивает sitemap.xml и видит, что та самая страничка последний раз менялась 2009-02-20. Но в этот день гугл уже якобы скчивал страницу. А значит нет смысла заново ее загружать. Таким образом гугл никогда не узнает о ваших изменениях, если конечно вы еще раз не обновите lastmod.

Ну а вот и обещаный программный код для генерации sitemap:

Public class GoogleSitemap { private String publicUrl; private List urls = new ArrayList(); public String getPublicUrl() { return publicUrl; } public void setPublicUrl(String publicUrl) { this.publicUrl = publicUrl; } public List getUrls() { return new ArrayList(urls); } public Url addUrl(Url url) { urls.add(url); return url; } public void removeUrl(Url url) { urls.remove(url); } private String w3cDateTime(Date date) { SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd"T"HH:mm:ssZ"); String formated = df.format(date); return formated.substring(0, 22) + ":" + formated.substring(22); } public void write(Writer writer) { PrintWriter xml = new PrintWriter(writer); xml.println(""); xml.println(""); for (Url url: urls) { xml.println(""); xml.println("" + (publicUrl == null ? "" : publicUrl) + url.loc + ""); xml.println("" + url.changefreq.name().toLowerCase() + ""); xml.println("" + url.priority + ""); if (url.lastModified != null) xml.println("" + w3cDateTime(url.lastModified) + ""); xml.println(""); } xml.println(""); xml.flush(); } public static class Url { private String loc; private float priority = 0.5f; private Changefreq changefreq = Changefreq.WEEKLY; private Date lastModified = null; public Url(String loc) { this.loc = loc; } public Url(String loc, Changefreq changefreq) { this.loc = loc; this.changefreq = changefreq; } public Url(String loc, Changefreq changefreq, float priority) { this.loc = loc; this.changefreq = changefreq; this.priority = priority; } public String getLoc() { return loc; } public void setLoc(String loc) { this.loc = loc; } public float getPriority() { return priority; } public void setPriority(float priority) { this.priority = priority; } public Changefreq getChangefreq() { return changefreq; } public void setChangefreq(Changefreq changefreq) { this.changefreq = changefreq; } public Date getLastModified() { return lastModified; } public void setLastModified(Date lastModified) { this.lastModified = lastModified; } } public static enum Changefreq { ALWAYS, HOURLY, DAILY, WEEKLY, MONTHLY, YEARLY, NEVER } public static void main(String args) throws IOException { GoogleSitemap sitemap = new GoogleSitemap(); sitemap.setPublicUrl("http://www..setLastModified(new Date()); sitemap.addUrl(url1); sitemap.addUrl(new Url("/post/73", Changefreq.DAILY, 0.3f)); sitemap.addUrl(new Url("/post/2", Changefreq.WEEKLY)); sitemap.write(new PrintWriter(System.out)); } }

Если вы спросите, что такое

Formated.substring(0, 22) + ":" + formated.substring(22);

Так вот, это небольшой хак. Дело в том, что по стандарту w3c в таймзоне должно присутствовать двоеточие, а Z для таймзоны в SimpleDateFormat двоеточие не ставит.

Надеюсь, статья была вам интересна и информация из статьи когда-нибудь вам пригодится. Всего вам хорошего.

В этом путеводителе мы рассмотрим следующие вопросы:

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

• HTML;

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

2. Анкоры ссылок.

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

Обязательные:
– определяет стандарт протокола и инкапсулирует этот файл.
– содержит в себе информацию о URL-адресе (является родительским тегом).
– содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Файл sitemap.xml является картой сайта для поисковых систем и содержит информацию о тех страницах Вашего сайта, которые подлежат индексации.

Создание sitemap.xml ускорит индексацию сайта поисковыми роботами, укажет им частоту обновления и приоритет сканирования его страниц.

Поэтому наличие файла sitemap.xml в корневой папке сайта если не обязательно, то весьма желательно!

Sitemap.xml можно составить самостоятельно, но лучше его сгенерировать с помощью одного из специальных сервисов (особенно, если Ваш сайт содержит большое количество страниц ), а потом, в случае необходимости, отредактировать. Но удобнее всего создавать и обновлять файл sitemap.xml одновременно с созданием Вашего сайта по мере появления новых страниц.

Создание и размещение файла sitemap.xml

Самостоятельно создать файл sitemap.xml можно в стандартном текстовом редакторе Блокнот , сохранив его с расширением .xml .

Как уже было сказано ранее, sitemap.xml должен быть помещён в корневую директорию сайта:

http://www.vashsite.ru/ sitemap.xml

Этот адрес следует указать в файле robots.txt в директиве Sitemap (о robots.txt ), сообщив, таким образом, поисковым роботам о существовании файла sitemap.xml для Вашего сайта.

Если Вы составили несколько файлов sitemap.xml для разных поисковых систем, то все их следует указать в файле robots.txt

Google Sitemap

Для составления Google Sitemap можно воспользоваться бесплатным sitemap -генератором http://www.sitemapspal.com/ .

Для того, чтобы создать файл sitemap.xml с помощью этого сервиса необходимо:

Пример составления файла sitemap.xml

Для того, чтобы Вы могли самостоятельно создать и редактировать файл sitemap.xml , ниже приведён пример его составления (sitemap -генератором http://www.sitemapspal.com/ ) и назначение элементов:

Пример составления sitemap.xml

http://www.сайт/
2013-01-17
monthly
0.5

.......
.......
.......

http://www..php
2013-01-17
monthly
0.5

Описание и назначение элементов sitemap.xml

указывается версия xml и кодировка UTF-8 , являющаяся обязательной для файла sitemap.xml ;

далее расположен обязательный открывающий тег с указанием стандарта протокола xmlns="http://www.google.com/schemas/sitemap/0.84 , который вставляется автоматически при генерировании Google Sitemap

Закрывающий тег расположен в конце файла;

Каждая запись содержит следующие необязательные теги :

тег содержит URL-адрес страницы сайта, длина которого не должна превышать 2048 символов;

тег содержит дату создания страницы или её последнего обновления;

тег указывает частоту обновления страницы. Допустимы следующие значения:

Always - всегда (используется, если страница изменяется при каждом доступе к ней) ,

Hourly - ежечасно,

Daily - ежедневно,

Weekly - еженедельно,

Monthly - ежемесячно,

Yearly - ежегодно,

Never - никогда;

тег Указывает приоритет данной страницы относительно других страниц сайта. Может принимать значения от 0,0 до 1,0 .

Как видно из примера, sitemap -генератор по умолчанию устанавливает среднее значение 0,5 .

Теперь, зная синтаксис и назначение элементов файла sitemap.xml , Вы можете его создать и редактировать самостоятельно.

Sitemap для Yandex

Для поисковой системы Yandex файл sitemap.xml составляется аналогично, за исключением содержимого тега , в котором указан стандарт протокола. Для поисковой системы Yandex эта запись файла sitemap.xml будет следующей:

В остальном синтаксис файла sitemap.xml для Yandex такой же, как было описано в примере выше.

Как сообщить поисковым системам о файле sitemap.xml

Как уже говорилось ранее, для того чтобы сообщить поисковым системам о sitemap.xml необходимо:

1. В файле robots.txt добавить директиву Sitemap с указанием всех файлов sitemap.xml , созданных для различных поисковых систем (подробнее );

2. Добавить URL файла sitemap.xml в:

Сервис «Яндекс.Вебмастер» для поисковой системы Yandex

Сервис «Инструменты для веб-мастеров» для поисковой системы Google

Файл sitemap.xml, так же, как и обычная карта сайта представляет из себя набор страниц, оформленных в XML-теги. С помощью данного файла, поисковые системы понимают, какие страницы вашего сайта следует индексировать в первую очередь.

Обычная HTML карта сайта:

Карта сайта в формате XML:

У каждого варианта есть свои плюсы и минусы. Ключевое преимущество карты сайта в формате XML — исключение возможности размытия статического веса страниц внутри сайта.

В этой статье я расскажу вам как составить корректный файл Sitemap.xml.

Если вы уже знаете все про составление Sitemap, сразу переходите к последней главе, которая называется «Фишки».

1. Директивы файла sitemap.xml

Существуют 3 обязательных директивы, которые должны быть заполнены в любом случае, это теги:

• < urlset>
• < url>
• < loc>

А также 3 необязательных тега:

• < lastmod>
• < changefreq>
• < priority>

Вот памятка по расшифровке каждого тега из официального сайта http://www.sitemaps.org/ru/protocol.html :

Сохраните эту памятку. Она обязательно пригодится вам в первое время. Стоит отметить еще один плюс XML-карты сайта - это гибкость. Гибкость заключается в сочетании разных необязательных директив.

Теперь, когда у вас есть ясность, что такое XML-карта сайта и вы узнали основные директивы этого файла, можно перейти к его составлению.

2. Составление файла sitemap.xml

Составлять карту сайта можно 3 способами:

• Вручную;
• Автоматически, с помощью специальных сервисов;
• Автоматически, с помощью готовых решений в виде плагинов к CMS и т.п.

Процесс приготовления карты сайта следующий:

• Составляем карту сайта одним из способов, перечисленных выше;
• Проверяем на валидность с помощью сервисов поисковых систем (https://webmaster.yandex.ru/sitemaptest.xml);
• Размещаем файл на сайте;
• Указываем путь к карте сайта для поисковых роботов в файле robots.txt (Кстати, есть отдельная статья о том, );
• Указываем Sitemap в панели вебмастеров Яндекс и Google.

Итак, как составлять файл карты сайта?

Разберем пример составления файла вручную. Если вы хотите добавить в карту сайта 5 страниц вашего сайта:

Вот так должна выглядеть карта сайта в формате XML:

При необходимости добавляем необязательные теги из памятки, которую я привел выше. Дополнительные теги прописываются в контейнере , после указания URL-адреса страницы в теге . Например:

Приведенный выше код, указывает поисковой системе, что страница http://site.ru/

в последний раз изменилась 1 января 2005 года. Обновляется с частотой раз в месяц. И приоритет у данной страницы 0.8 (максимально возможный 1).

Особенно удобен функционал подсветки парных тегов.

Сервисы для генерации Sitemap

В случае, если на вашем сайте много полезных страниц и вы не хотите тратить время на составление файла вручную, то вам помогут следующие сервисы:

Таких сервисов много. Я использую https://www.xml-sitemaps.com/ .

Поясню вкратце все настройки:

Плагины для CMS

Существует огромное количество плагинов и готовых решений для систем управления сайтов. Например:

Валидность

После составления карты сайта нужно проверить ее на наличие ошибок. Для проверки используйте сервис https://webmaster.yandex.ru/sitemaptest.xml

После успешной проверки заливаем наш файл на сайт.

Расположение файла

В отличие от файла robots.txt, файл sitemap.xml может располагаться в любом месте вашего сайта. Например, в корневой папке сайта файл будет доступен по следующему адресу:

Если вы разместили файл в папке /files/, то он будет доступен по такому адресу:

После успешной загрузки файла, обязательно укажите поисковым роботам как найти этот файл. Делается это очень просто. В файле robots.txt () в директиве Sitemap пропишите полный адрес к файлу. Например, файл robots.txt может выглядеть следующим образом:

Важно! В отличии от robots.txt файлов Sitemap может быть несколько. В таком случае необходимо указывать в robots и вебмастерах полный адрес ко всем файлам Sitemap.

Search Console и панель Яндекс.Вебмастера

Остался последний этап. Указать путь к карте сайта в панелях вебмастеров поисковых систем.

• Настройка индексирования
• Файлы Sitemap
• «Проверить» и «Добавить»

Следует отметить ограничения в XML-карте сайта:

• В одном файле можно указать не более 50000 URL-адресов
• Вес файла не более 10 мегабайт (поисковые системы не индексируют документы, превышающие размер в 10 мегабайт). При необходимости файл можно сжать с помощью архиватора.gzip.
• Кодировка файла только в UTF-8

На этом основные этапы завершены. Следуйте всем описанным простым правилам и ошибок у вас не будет. Вторая часть статьи посвящена более детальной настройке, тонкостям и особенностям sitemap.xml эти знания потребуются вам для составления профессиональной карты сайта для интернет-магазинов.

3. Группировка файлов Sitemap

В случае превышения лимита в 50000 URL-адресов, нужно использовать вложенную структуру и создать группу из нескольких Sitemap. То есть создавать карты сайта в карте сайта!

Для обычного сайта (не крупного портала или интернет-магазина) такой объем страниц редкость, поэтому группировку Sitemap большинство SEO-специалистов используют для удобства, например, для группировки страниц товаров или разделов.

Синтаксис выглядит следующим образом:

Определение XML-тегов:

Таким образом составляется сгруппированная карта сайта. Все остальные процедуры те же, что описаны выше. Не забываем указывать в файле robots.txt, в директиве Sitemap, корректную ссылку на ваш файл.

4. Исследование

В конце 2014 года я провел небольшое исследование по анализу эффективности наличия на сайте файла sitemap.xml.

Наблюдалась проблема индексации товарной группы на сайте интернет-магазина (товаров порядка 10000). При этом, ничего не препятствовало их индексации. Был составлен файл карты сайта, состоящий только из ссылок на товары сайта. Карта сайта обновлялась автоматически. За 2 месяца в индексную базу поисковой системы Яндекс попало более 70% URL-адресов. Большая доля страниц, попавших в индекс, это страницы из карты сайта. Отмечу, что в данный период не проводились другие мероприятия по ускорению индексации сайта (например, простановка ссылок).

Вот сами результаты:

Вывод: карта сайта до сих пор влияет на индексацию вашего сайта. Необходимо регулярно обновлять и актуализировать данный файл.

5. Фишки

Чтобы статья не получилась скучной для опытных SEO-специалистов, предлагаю вам ознакомиться со следующими «фишками».

Картиночный сайтмап

Для привлечения дополнительного трафика из поисковых систем (возможно не совсем конверсионного) вы можете составить дополнительный Sitemap для картинок.

Синтаксис для картиночной карты сайта выглядит так:

Памятка по XML-тегам:

Лайфхак для тех, кто дочитал

Многие SEO-специалисты генерируют файлы Sitemap один раз на старте проекта. Дальше про карту сайта забывают. Проиндексировались страницы — хорошо. Нет — а что поделать?! Новые страницы вообще забывают вносить в sitemap.

В ходе своего исследования я выяснил, что наиболее удобным способом решения этой проблемы является отдельный файл sitemap.xml, в котором будут только те страницы сайта, которые еще не попали в индекс.

И именно это позволило вогнать в индекс Яндекса более 70% новых URL-адресов.