Как правильно настроить файл Robots.txt для сайта на WordPress?

Правильная настройка файла Robots.txt  является очень важным аспектом для любого уважающего себя сайта. В этой статье о том как грамотно настроить файл роботс для сайта на WordPress.

Что такое Robots.txt

Файл Robots.txt —  это служебный файл, который располагается в корне сайта  и помогает поисковикам правильно индексировать сайт. Помогает определить какие страницы включать в индексацию, а какие нет. Также в этом файле прописывается путь к карте сайта —  файл sitemap.xml, и указывается основное зеркало сайта.

Когда поисковые роботы заходят на сайт, они, в первую очередь, ищут «роботс.тхт», и смотрят настройки этого файла, и уже отталкиваясь от них, определяют что нужно индексировать на сайте, а что нет.

Правильная настройка robots.txt для сайта на WordPress

Для сайта, созданного на движке Вордпресс, первоначально создается множество папок и каталогов, а также различных файлов. Далеко не все файлы и папки поисковикам нужно видеть и включать в индексацию, так как это в итоге может негативно сказаться на вашем вебсайте и дать неутешительный результат. То есть из-за того что будет индексироваться все подряд, без каких либо ограничений, поисковик может просто пропустить важные страницы Вашего сайта и не включить их в индекс, поэтому настройкой файла robots.txt  пренебрегать не стоит и нужно уделить ей должное внимание.

Для начала нужно скачать Robots.txt и  скопировать его в корневую папку сайта, и ни в коем случае его не переименовывать .
Откройте этот файл и внесите некоторые изменения.
Нужно вместо «yousite» указать название Вашего сайта. Сохраните файл и все готово.
В этом файле прописано все грамотно, и настроено по всем стандартам. Так что можете смело пользоваться и наслаждаться результатом.

Теперь у Вашего сайта на WordPress  правильно настроен файл robots.txt  и бояться неправильной индексации Вам не стоит.