Loading…
Robots.txt - настройка

Настройка robots.txt для wordpress

Здравствуйте, уважаемые читатели. В этой небольшой статье я расскажу как настроить индексирующий файл robots.txt для CMS WordPress.

Robots.txt — это текстовый файл, который содержит параметры для индексации сайта в поисковых системах

Файл robots.txt расположен в корневой папке сайта. Если файл отсутствует, вы сможете создать его и разместить нужную папку.

Расположение файла robots.txt
Расположение файла robots.txt

За пример корректно настроенного файла индексации я беру файл robots.txt моего блога:

User-agent: *
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search
Disallow: /author/
Disallow: *?attachment_id=
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */page/
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-*.svg
Allow: /wp-*.pdf

Sitemap: https://evgenykolyasev.ru/sitemap_index.xml
Host: https://evgenykolyasev.ru

Значение директив файла robots.txt на примере моего блога

User-agent: * — указание на роботов для которых действуют правила, в данном случае для всех роботов, если хотите отдельно указать правила индексации для основного робота Яндекса необходимо прописать «User-agent: YandexBot», для робота Google — «User-agent: GoogleBot».

Dissalow — это запрещающая директива, которая закрывает от индексации сайт или его части, например служебные папки и страницы, страницы содержащие параметры.

Disallow: /cgi-bin — скрытие служебной папки

Disallow: /? — скрывает все параметры запроса на главной

Disallow: /wp- скрывает все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins

Disallow: *?s= — скрывает поиск

Disallow: *&s= — скрывает поиск

Disallow: /search — скрывает поиск

Disallow: /author/ — скрыть архив автора

Disallow: *?attachment_id= — скрыть страницу вложения

Disallow: */feed — скрыть все фиды

Disallow: */rss — скрыть rss фиды

Disallow: */embed — скрыть встраивания

Disallow: */page/ — скрыть все виды пагинации

Allow — директива, которая открывает для индексации части сайта

Allow: */uploads — открыть папку с файлами uploads

Allow: /*/*.js — открыть js внутри /wp- (/*/ — для приоритета)

Allow: /*/*.css — открыть css внутри /wp- (/*/ — для приоритета)

Allow: /wp-*.png открыть картинки в плагинах, cache папке и так далее.

Allow: /wp-*.jpg открыть картинки в плагинах, cache папке и так далее.

Allow: /wp-*.jpeg открыть картинки в плагинах, cache папке и так далее.

Allow: /wp-*.gif открыть картинки в плагинах, cache папке и так далее.

Allow: /wp-*.svg открыть картинки в плагинах, cache папке и так далее.

Allow: /wp-*.pdf открыть файлы в плагинах, cache папке и т.д.

Sitemap: https://evgenykolyasev.ru/sitemap_index.xml — директива указывает на расположение файла sitemap на сайте

Host: https://evgenykolyasev.ru — директива указывающая основное зеркало сайта, если сайт использует защищенный протокол https указывается полностью, если на сайте нет защищенного протокола https, тогда указывается в таком виде: Host:evgenykolyasev.ru

Host — директива, которая предназначена для робота Яндекса. В последнее время теряет свою актуальность, ее использование не обязательно.

Я использую эту директиву, ничего негативного для поисковиков в этом нет.

Clean-param — директива указывает на то, что страницы содержит параметры, которые не нужно индексировать. В моем robots не используется.

Crawl-delay — директива, которая задает роботу минимальный период времени между окончанием загрузки одной страницы и началом загрузки следующей. Я ее также не использую, она скорее предназначена для огромных сайтов, например для интернет-магазинов, которые имеют тысячи и десятки тысяч страниц.

Вообще существует множество вариантов настройки индексирующего файла robots.txt, для меня приведенный мною пример является наиболее оптимальным, для интернет-магазинов я использую аналогичную настройку, добавляю еще несколько дополнительных директив, например закрываю от индексации фильтры, если таковые имеются. Буду рад, если в комментариях Вы поделитесь своими настройками файла robots.txt для CMS WordPress и других систем управления!

Добавить комментарий