Ошибка «Нет используемых роботом файлов Sitemap» появляется в панели вебмастера, если Яндекс не видит карту сайта. Уточним, что карта веб-ресурса — это документ в формате xml или txt, в котором содержится актуальных список всех разделов и URL-адресов ресурса. При её отсутствии поисковик может не сразу увидеть обновление проекта, из-за чего новые страницы попадут в индекс с задержкой.
Почему робот не видит карту сайта?
Чаще всего информации об отсутствии используемых роботом файлов sitemap появляется, если:
- Документ был добавлен недавно и робот ещё не успел его проиндексировать;
- Вы не добавили документ в панель вебмастера;
- Проблема связана с настройками в robots.txt;
- Вы указали нестандартное название документа;
- На сайте отсутствует карта.
В первом случае нет повода для беспокойства. Яндекс обрабатывает документы с задержкой и, если вы загрузили корректный файл, в течение нескольких дней ошибка пропадёт. Однако, чтобы не терять время, пока он находится в очереди на обработку мы рекомендуем вам пошагово проверить другие возможные ошибки. Как это сделать мы расскажем далее.
Загрузка карты сайта
Первым делом перейдите в панель вебмастера Яндекс и откройте вкладку «Индексирование» — «Файлы Sitemap». Далее добавьте ссылку на карту ресурса в специальное поле. В течение двух недель система проверит документ и, если вы всё сделали правильно, напротив ссылки появится код ответа «ОК».
Аналогично необходимо загрузить документ в Google Search Console.
Настройка robots.txt
Иногда поисковая система может не видеть карту проекта из-за того, что её индексация запрещена в файле robots.txt. В таком случае перед ссылкой будет стоять директива «Disallow» и вам необходимо изменить её на «allow» .
Если же в robots.txt вовсе нет ссылки на документ, вы можете её добавить, прописав следующий код: «User-agent: * Allow: / Sitemap: [ссылка на документ]». Однако в таком случае вы откроете её для всех пользователей и этой информацией смогут воспользоваться злоумышленники. Поэтому мы рекомендуем предварительно посоветоваться со специалистом.
Проблемы с названием
Иногда отсутствие используемых роботом файлов с картой сайта может быть вызвано тем, что вы назвали документ нестандартным именем. Во избежание проблем лучше присваивать документу стандартное наименование «sitemap.xml» .
Как сформировать карту сайта?
В завершение рассмотрим ситуацию, когда на сервере вовсе отсутствует документ с картой ресурса.
Если у вас нет возможности нанимать специалиста в области SEO, вы можете воспользоваться автоматически генератором по созданию карты интернет-проекта. Однако этот способ платный и не всегда качественный. Поэтому некоторые большинство пользователей пытаются создать карту вручную с помощью рекомендаций Яндекс и Гугл. Однако следует иметь в виду, что они содержат не всю информацию. От себя также добавим, что при формировании файла sitemap, необходимо соблюдать следующие требования:
- Документ должен иметь формат xml или txt. Преимущество xml в том, что кроме списка адресов, в нём также можно указать дополнительные параметры страниц (частоту обновления и изменения, относительную значимость). Никто не знает улучшают ли данные сведения качество индексации, но лишним это точно не будет. Поэтому мы всё же рекомендуем использовать формат xml.
- Вы можете также создать вторую карту в формате html для пользователей. Однако поисковые системы будут её расценивать как обычную страницу. Поэтому наличие документа в формате xml или txt обязательно.
- Документ должен размещаться на одинаковом домене с сайтом, для которого он составлен, и указывать только на URL-адреса этого домена.
- В файле необходимо использовать кодировку «UTF-8».
- В документе необходимо указывать только актуальные и работающие ссылки. Например, в нём не должно быть битых ссылок и редиректов.
- Карта ресурса должна быть всегда актуальной, поэтому она должна автоматически генерироваться.
Как видите, без базовых знаний в области сайтостроения и поисковой оптимизации создать sitemap самостоятельно не так просто. Поэтому во избежание возможных ошибок и траты времени мы рекомендуем все-таки обратиться за помощью к профессионалам.
Вопросы и ответы: нет используемых роботом файлов Sitemap
Почему в Яндекс.Вебмастере появляется ошибка «Нет используемых роботом файлов Sitemap»?
Ошибка появляется, если Яндекс не видит карту сайта. Чаще всего это бывает, когда документ был добавлен недавно и робот еще не успел его проиндексировать, когда вы не добавили документ в панель вебмастера, когда проблема связана с настройками в robots.txt, когда документ назван нестандартно или когда карты на сайте нет. В первом случае повода для беспокойства нет: Яндекс обрабатывает документы с задержкой, и, если загружен корректный файл, в течение нескольких дней ошибка пропадет.
Как загрузить карту сайта в Яндекс.Вебмастер и Google Search Console?
Перейдите в панель вебмастера Яндекс, откройте вкладку «Индексирование», затем раздел «Файлы Sitemap» и добавьте ссылку на карту ресурса в специальное поле. В течение двух недель система проверит документ, и, если все сделано правильно, напротив ссылки появится код ответа «ОК». Аналогично необходимо загрузить документ в Google Search Console, чтобы поисковые системы быстрее увидели обновления проекта.
Как настроить robots.txt и как назвать файл карты сайта?
Если индексация карты запрещена в robots.txt, перед ссылкой стоит директива Disallow, и ее нужно изменить на allow. Если ссылки на документ в robots.txt нет, ее можно добавить, но тогда вы откроете карту для всех пользователей, и этой информацией смогут воспользоваться злоумышленники, поэтому предварительно лучше посоветоваться со специалистом. Документу лучше присваивать стандартное наименование sitemap.xml: нестандартное имя тоже может стать причиной ошибки.
Каким требованиям должна соответствовать карта сайта?
Документ должен иметь формат xml или txt (xml рекомендуется, так как в нем можно указать дополнительные параметры страниц), размещаться на том же домене, для которого он составлен, и указывать только на URL-адреса этого домена. В файле нужно использовать кодировку UTF-8 и указывать только актуальные и работающие ссылки, без битых ссылок и редиректов. Карта должна быть всегда актуальной, поэтому ее нужно генерировать автоматически. Можно создать и вторую карту в формате html для пользователей, но наличие документа в формате xml или txt обязательно.
