За несколько лет было перепробовано много формул успешного Robots.txt, но остановился на этом. Сайты быстро индексируются и ничего лишнего роботы не захватывают.
User-agent: Yandex Disallow: /wp-admin* Disallow: /archive/ Disallow: */trackback/ Disallow: */comments/ Disallow: */comment-page-* Disallow: */page/ Disallow: /tag/ Disallow: */feed/ Disallow: /wp-includes* Disallow: /category/ Disallow: /comments/page Disallow: /*?s= Disallow: /*&s= Disallow: /trackback Disallow: /*.html/feed Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/languages/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-content/upgrade/ Disallow: /*?* Disallow: /*? Disallow: /xmlrpc.php Host: https://good-webmaster.ru User-agent: * Disallow: /wp-admin* Disallow: /wp-includes* Disallow: /tag/ Disallow: /category/ Disallow: */comment-page-* Disallow: */page/ Disallow: /tag/ Disallow: */feed/ Disallow: /wp-includes* Disallow: /comments/page Disallow: /*?s= Disallow: /*&s= Disallow: /trackback Disallow: /*.html/feed Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/languages/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-content/upgrade/ Disallow: /*?* Disallow: /*? Sitemap: https://good-webmasteer.ru/sitemap_index.xml
Формула Robots.txt для WordPress готова. Поменяйте домен на свой и укажите свой http или https, а так же пропишите правильную дорогу к вашей карте сайта. Данная дорога лежит к карте Sitemap плагина Seo by Yoast.
Автор публикации
Высшая ступень членства компании AitThemes - Agency Multi Membership
Комментарии 0