Сегодня мы поговорим о том, как правильно организовать структуру сайта. Прежде всего, это касается структуры ссылок.

Постоянные ссылки

На странице настроек системы управления WordPress отдельным пунктом стоят ссылки.

Конечно, настройки следует выбирать исходя из конкретного проекта, но в большинстве случаев я предпочитаю использовать структуру, когда запись не содержит вложенности. Таким образом настройка постоянных ссылок будет

/%postname%/

или пункт «Название записи» в русскоязычной версии WordPress.

Преимущества:

1. Легко запретить для индексации раздел, но при этом оставить элементы раздела доступными. Идеально, для того чтобы избавиться от дублей;
2. Не нужны редиректы при смене категории записи, следовательно меньше 404 ошибок;
3. По URL проще понять что за контент ожидает посетителя.

Недостатки:

1. Если мы захотим закрыть от индексации раздел вместе с элементами раздела — придется напрячься.

Robots.txt

Для робота важно получать качественную информацию с сайта. Все зависит от того, как и что вы хотите продвигать на сайте.

User-agent: *
Disallow: /wp-admin/

Allow: /wp-content/uploads/
Allow: /wp-content/plugins/
Allow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-content/
Disallow: /tag/
Disallow: /tags/
Disallow: /category/
Disallow: /archive/
Disallow: */author/
Disallow: */2014/
Disallow: */2015/
Disallow: */2016/
Disallow: */2017/
Disallow: */2018/
Disallow: */trackback/
Disallow: */feed/
Disallow: */demos/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: https://site.com

Sitemap: https://site.com/sitemap.xml

Теперь по-порядку:

1. Закрываем административный раздел;
2. Закрываем
   
wp-content

   , но необходимо оставить разделы с темой, плагинами и папку с медиа доступными для робота. По крайней мере для бота от Google очень важно получать страницу в таком же виде, как для простого посетителя;
3. Остальное — категории, теги, записи автора, архивы… . Все эти формации ведут к дублям;
4. Закрываем от индексации поисковые запросы;
5. Ну и наконец указываем главное зеркало и файл и картой сайта.

Если вам важно приводить людей из поиска на категории товаров, соответственно эти разделы должны быть у вас открыты, а иначе они будут вам приносить только дубли.

Таким образом не существует идеального файла

robots.txt

для сайта на WordPress, все исходит из конкретных проектов.