Перейти к содержимому

Реферальная программа Мегаплана


Правильно ли настроил robots.txt?

#11 mojWP

mojWP
  • Пользователь
  • 46 сообщений
  • Репутация: 14
0

Отправлено 24 Март 2013 - 23:42

seosage, проверяй свои настройки "налету".
В панели вебмастера Яндекс в левом сайбаре:
Настройки индексирвоания ► Анализ robots.txt
  • 0

#12 seosage

seosage
    Topic Starter
  • Пользователь
  • 304 сообщений
  • Репутация: 45

Отправлено 10 Апрель 2013 - 15:06

Всем привет. Мой robots.txt сейчас. Верно ли составлен:

User-agent: Yandex
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Disallow: /zakaz-telefona*
Host: ну тут мой сайт

User-agent: Googlebot
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Disallow: /zakaz-telefona*

User-agent: *
Disallow: /*?
Disallow: /*?*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: */comment-page-*
Disallow: /comments
Disallow: /zakaz-telefona*
Sitemap: http://мой сайт.u/sitemap.xml


  • 0

#13 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 10 Апрель 2013 - 16:56

seosage, знак * на конце не обязателен, он ставится там по-умолчанию. Строчки, которые отличаются только * на конце не нужны.
  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#14 seosage

seosage
    Topic Starter
  • Пользователь
  • 304 сообщений
  • Репутация: 45

Отправлено 10 Апрель 2013 - 17:04

Sosnovskij, спасибо. А в общем плане? То есть нужно ли для Яндекса, GoogleBot прописывать отдельно, как сейчас у меня сделано?
  • 0

#15 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 10 Апрель 2013 - 17:34

seosage, правила для Googlebot можно убрать. Там нет ничего уникального :)
  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.




Оформление форума – IPBSkins.ru