Перейти к содержимому



Robots.txt для Wordpress

#1

Поделиться сообщением #1



denis

denis
  • Заблокированные
  • 173 сообщений
  • Репутация: -13
0

Отправлено 20 Апрель 2012 - 18:13

Скажите, пожалуйста, кто разбирается: правильно ли у меня составлен файл robots.txt(http://webwmz.ru/robots.txt). Просто я сам не знаю и сделал по уроку на блоге wpnew. Сделал, а сам ничего не понял. Заранее благодарю за помощь!

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Robots.txt для wordpress
  2. Корректность robots.txt для wordpress
  3. Файл robots.txt для сайта на wordpress
  4. В какой дериктории должен находиться файл robots.txt
  5. Robots.txt для Wp

#2

Поделиться сообщением #2



Sosnovskij

Sosnovskij
  • Администратор
  • 4 251 сообщений
  • Репутация: 640

Отправлено 20 Апрель 2012 - 22:31

Перенес в Wordpress.
Зачем 2 ссылки на Sitemap?

Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed

Вот эта еще конструкция не понятна мне :unsure:.
  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#3

Поделиться сообщением #3



denis

denis
    Topic Starter
  • Заблокированные
  • 173 сообщений
  • Репутация: -13

Отправлено 21 Апрель 2012 - 10:29

Я не знаю, ничего не понимаю в этом. Какой тогда код должен быть?
  • 0

#4

Поделиться сообщением #4



Taxis

Taxis
  • Неактивные
  • 129 сообщений
  • Репутация: 16

Отправлено 22 Апрель 2012 - 09:34

User-agent: *
Allow: /wp-content/uploads/
Disallow: /201*
Disallow: /tag
Disallow: /page
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sidebar/
Host: site.com
Sitemap: http://site.com/sitemap.xml
У меня на вордпрессе такой, вроде все нормально пока))
  • 0

#5

Поделиться сообщением #5



Sosnovskij

Sosnovskij
  • Администратор
  • 4 251 сообщений
  • Репутация: 640

Отправлено 22 Апрель 2012 - 13:40

Вот примерный robots.txt для Wordpress. У меня практически такой же стоит.

User-agent: Yandex
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*

Host: domen.ru
User-agent: *
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Sitemap: http://domen.ru/sitemap.xml

  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#6

Поделиться сообщением #6



Taxis

Taxis
  • Неактивные
  • 129 сообщений
  • Репутация: 16

Отправлено 22 Апрель 2012 - 14:19

Не понимаю зачем для яндекса отдельно писать?
  • 0

#7

Поделиться сообщением #7



denis

denis
    Topic Starter
  • Заблокированные
  • 173 сообщений
  • Репутация: -13

Отправлено 22 Апрель 2012 - 14:20

чтобы закрыть от пользователей: http://webwmz.ru/downloads/ ,нужно написать в robots.txt: Disallow: /downloads/?
  • 0

#8

Поделиться сообщением #8



Taxis

Taxis
  • Неактивные
  • 129 сообщений
  • Репутация: 16

Отправлено 22 Апрель 2012 - 14:25

Да, тогда ПС не будут индексировать эту директорию и все что дальше её
  • 1

#9

Поделиться сообщением #9



Sosnovskij

Sosnovskij
  • Администратор
  • 4 251 сообщений
  • Репутация: 640

Отправлено 22 Апрель 2012 - 14:33

Taxis, как-то это исторически повелось. :unsure:
  • 1

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#10

Поделиться сообщением #10



Taxis

Taxis
  • Неактивные
  • 129 сообщений
  • Репутация: 16

Отправлено 22 Апрель 2012 - 14:37

 Я по началу тоже так делал, потом провел эксперименты и ни какой ризницы не увидел.


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru