Ошибка «Сайт закрыт от индексации в файле robots.txt» означает, что поисковому роботу был запрещён доступ к вашему ресурсу. Если это не исправить, проект может быть исключён из индекса.
Не спешите пугаться. Мы подготовили для вас несколько советов, которые помогут легко решить данную проблему. Скорее всего вам даже не понадобится помощь специалистов.
Причина № 1. Просрочка оплаты домена
Одна из причин по которой может появиться запрет на индексирование ресурса – это несвоевременная оплата за аренду доменного имени. Продлите ваш домен и через пару дней отображение ошибки исчезнет.
Причина № 2. Закрытие сайта к индексации в файле robots.txt
Robots – это текстовый документ, который находится на сервере вашего проекта. С помощью внесения в него специальных записей вебмастер может управлять видимостью контента и закрывать от поисковой системы служебные страницы, которые не нужно показывать в поиске. Для этого необходимо прописать в документе директиву «disallow». Именно из-за неправильного использования данной директивы у поисковика чаще всего и возникают проблемы с загрузкой файла роботс.
Как проверить наличие директивы disallow в файле robots.txt?
Проверить содержимое данного документа можно с помощью специального внутреннего инструмента в панели вебмастера Яндекс. Перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите нет ли в содержании документа строчек, которые имеют следующий вид:
| Строчка |
Значение |
|
User-agent: Yandex
Disallow: /
|
Доступ закрыт для Яндекс |
|
User-agent: Googlebot
Disallow: /
|
Доступ закрыт для Google |
|
User-agent: *
Disallow: /
|
Доступ закрыт для всех поисковых систем |
Если какая-либо из данных записей обнаружится, её необходимо удалить.
Убираем из файла robots.txt информацию о закрытии сайта к индексации
Перейдите в корневую директорию вашего проекта и найдите там файл с названием «robots.txt«. Чтобы при следующем обращении разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы. Ничего вместо них прописывать не нужно.
Если вы хотите запретить индексировать отдельные страницы или раздел, необходимо использовать запись «Disallow: /URL страницы/». Например, запись: «Disallow: /admin/» запрещает ссылки из панели администратора.
Чтобы закрыть раздел, используется запись «Disallow: /Раздел/*».
Помощь при закрытии сайта к индексации в файле robots.txt
Не спешите расстраиваться, если предыдущие советы не помогли. Вы всегда можете обратиться за помощью к нашим специалистам. Мы настроим корректные параметры индексации и в качестве бонуса проведём полную диагностику вашего ресурса на наличие других критичных нарушений и проблем с безопасностью.
Вопросы и ответы: сайт закрыт к индексации в robots.txt
Что означает ошибка «Сайт закрыт от индексации в файле robots.txt»?
Ошибка означает, что поисковому роботу был запрещен доступ к вашему ресурсу. Если это не исправить, проект может быть исключен из индекса. В статье советуют не спешить пугаться: есть несколько советов, которые помогут легко решить проблему, и скорее всего помощь специалистов даже не понадобится. Одна из причин ошибки не связана с самим файлом: это несвоевременная оплата аренды доменного имени, и после продления домена отображение ошибки исчезнет через пару дней.
Как проверить, есть ли в файле robots.txt директива Disallow?
Содержимое документа можно проверить специальным внутренним инструментом в панели вебмастера Яндекс: перейдите по ссылке и укажите в поле URL-адрес вашего ресурса. Посмотрите, нет ли в документе строчек вида User-agent: Yandex и Disallow: / (доступ закрыт для Яндекс), User-agent: Googlebot и Disallow: / (доступ закрыт для Google) или User-agent: * и Disallow: / (доступ закрыт для всех поисковых систем). Если какая-либо из таких записей обнаружится, ее необходимо удалить.
Как открыть сайт для индексации и закрыть от нее отдельные страницы?
Перейдите в корневую директорию проекта и найдите файл robots.txt. Чтобы разрешить поисковику доступ ко всему ресурсу, просто удалите из документа все запрещающие директивы: ничего вместо них прописывать не нужно. Если вы хотите запретить индексировать отдельные страницы или раздел, используется запись Disallow: /URL страницы/, например запись Disallow: /admin/ запрещает ссылки из панели администратора, а чтобы закрыть раздел, применяется запись Disallow: /Раздел/*.
Для чего нужен файл robots.txt и куда обратиться, если советы не помогли?
Robots это текстовый документ на сервере проекта: с помощью специальных записей вебмастер управляет видимостью контента и закрывает от поисковой системы служебные страницы, которые не нужно показывать в поиске, для чего в документе прописывается директива disallow. Чаще всего проблемы с загрузкой файла возникают из-за ее неправильного использования. Если советы не помогли, можно обратиться к нашим специалистам: они настроят корректные параметры индексации и проведут полную диагностику ресурса на наличие других критичных нарушений и проблем с безопасностью.
