
Правильная настройка файла Robots.txt является очень важным аспектом для любого уважающего себя сайта. В этой статье о том как грамотно настроить файл роботс для сайта на WordPress.
Что такое Robots.txt
Файл Robots.txt — это служебный файл, который располагается в корне сайта и помогает поисковикам правильно индексировать сайт. Помогает определить какие страницы включать в индексацию, а какие нет. Также в этом файле прописывается путь к карте сайта — файл sitemap.xml, и указывается основное зеркало сайта.
Когда поисковые роботы заходят на сайт, они, в первую очередь, ищут «роботс.тхт», и смотрят настройки этого файла, и уже отталкиваясь от них, определяют что нужно индексировать на сайте, а что нет.
Правильная настройка robots.txt для сайта на WordPress
Для сайта, созданного на движке Вордпресс, первоначально создается множество папок и каталогов, а также различных файлов. Далеко не все файлы и папки поисковикам нужно видеть и включать в индексацию, так как это в итоге может негативно сказаться на вашем вебсайте и дать неутешительный результат. То есть из-за того что будет индексироваться все подряд, без каких либо ограничений, поисковик может просто пропустить важные страницы Вашего сайта и не включить их в индекс, поэтому настройкой файла robots.txt пренебрегать не стоит и нужно уделить ей должное внимание.
Для начала нужно скачать Robots.txt и скопировать его в корневую папку сайта, и ни в коем случае его не переименовывать .
Откройте этот файл и внесите некоторые изменения.
Нужно вместо «yousite» указать название Вашего сайта. Сохраните файл и все готово.
В этом файле прописано все грамотно, и настроено по всем стандартам. Так что можете смело пользоваться и наслаждаться результатом.
Теперь у Вашего сайта на WordPress правильно настроен файл robots.txt и бояться неправильной индексации Вам не стоит.
Чтобы поисковые системы начали правильно воспринимать адрес вашего сайта, находить его только по одному адресу, то сделать это можно с помощью редиректа 301, который и настраивается в файле .
И главная проблема кроется в том, что в наше время очень легко поставить, практически, любую CMS. И даже не нужно знать никаких особенных знаний. А вот чтобы правильно настроить, как раз и нужны дополнительные знания.