За несколько лет было перепробовано много формул успешного Robots.txt, но остановился на этом. Сайты быстро индексируются и ничего лишнего роботы не захватывают.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 |
User-agent: Yandex Disallow: /wp-admin* Disallow: /archive/ Disallow: */trackback/ Disallow: */comments/ Disallow: */comment-page-* Disallow: */page/ Disallow: /tag/ Disallow: */feed/ Disallow: /wp-includes* Disallow: /category/ Disallow: /comments/page Disallow: /*?s= Disallow: /*&s= Disallow: /trackback Disallow: /*.html/feed Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/languages/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-content/upgrade/ Disallow: /*?* Disallow: /*? Disallow: /xmlrpc.php Host: https://good-webmaster.ru User-agent: * Disallow: /wp-admin* Disallow: /wp-includes* Disallow: /tag/ Disallow: /category/ Disallow: */comment-page-* Disallow: */page/ Disallow: /tag/ Disallow: */feed/ Disallow: /wp-includes* Disallow: /comments/page Disallow: /*?s= Disallow: /*&s= Disallow: /trackback Disallow: /*.html/feed Disallow: /cgi-bin/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/languages/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-content/upgrade/ Disallow: /*?* Disallow: /*? Sitemap: https://good-webmasteer.ru/sitemap_index.xml |
Формула Robots.txt для WordPress готова. Поменяйте домен на свой и укажите свой http или https, а так же пропишите правильную дорогу к вашей карте сайта. Данная дорога лежит к карте Sitemap плагина Seo by Yoast.
Автор публикации
В наличии любые плагины и темы последних версий от компании AIT THEMES
Поддержать проект монетой можно так: https://money.yandex.ru/to/410012768487959
Поддержать проект монетой можно так: https://money.yandex.ru/to/410012768487959