Как правильно настроить файл Robots.txt для сайта на WordPress?

Настройка файла robots.txt

Правильная настройка файла Robots.txt  является очень важным аспектом для любого уважающего себя сайта. В этой статье о том как грамотно настроить файл роботс для сайта на WordPress.

Что такое Robots.txt

Файл Robots.txt —  это служебный файл, который располагается в корне сайта  и помогает поисковикам правильно индексировать сайт. Помогает определить какие страницы включать в индексацию, а какие нет. Также в этом файле прописывается путь к карте сайта —  файл sitemap.xml, и указывается основное зеркало сайта.

Когда поисковые роботы заходят на сайт, они, в первую очередь, ищут «роботс.тхт», и смотрят настройки этого файла, и уже отталкиваясь от них, определяют что нужно индексировать на сайте, а что нет.

Правильная настройка robots.txt для сайта на WordPress

Для сайта, созданного на движке Вордпресс, первоначально создается множество папок и каталогов, а также различных файлов. Далеко не все файлы и папки поисковикам нужно видеть и включать в индексацию, так как это в итоге может негативно сказаться на вашем вебсайте и дать неутешительный результат. То есть из-за того что будет индексироваться все подряд, без каких либо ограничений, поисковик может просто пропустить важные страницы Вашего сайта и не включить их в индекс, поэтому настройкой файла robots.txt  пренебрегать не стоит и нужно уделить ей должное внимание.

Для начала нужно скачать Robots.txt и  скопировать его в корневую папку сайта, и ни в коем случае его не переименовывать .
Откройте этот файл и внесите некоторые изменения.
Нужно вместо «yousite» указать название Вашего сайта. Сохраните файл и все готово.
В этом файле прописано все грамотно, и настроено по всем стандартам. Так что можете смело пользоваться и наслаждаться результатом.

Теперь у Вашего сайта на WordPress  правильно настроен файл robots.txt  и бояться неправильной индексации Вам не стоит.

Вы можете оставить комментарий, или Трекбэк с вашего сайта.

ОЦЕНИТЕ ПОЛЕЗНОСТЬ СТАТЬИ

Оценка: 5,00 ( голосов: 9)
Loading...Loading...

ПОДЕЛИТЬСЯ ССЫЛКОЙ

Комментариев к записи: 2

  1. orenko:

    Чтобы поисковые системы начали правильно воспринимать адрес вашего сайта, находить его только по одному адресу, то сделать это можно с помощью редиректа 301, который и настраивается в файле .

  2. Александр:

    И главная проблема кроется в том, что в наше время очень легко поставить, практически, любую CMS. И даже не нужно знать никаких особенных знаний. А вот чтобы правильно настроить, как раз и нужны дополнительные знания.

Оставить комментарий

Return to Top ▲Return to Top ▲