Перейти к содержимому


Партнерская программа Kredov

Правильная конфигурация robots.txt

#1 serbond

serbond
  • Пользователь
  • 52 сообщений
  • Репутация: 2
0

Отправлено 24 Апрель 2014 - 21:19

Вопрос:

Правильно ли составлен robots.txt

Больше всего меня интересует правильность конфигурации:

- в верхних блоках закрыты 

Disallow: /2013/*

Disallow: /2014/*

 

- а в самом конце открыта директория /wp-content/uploads/  

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

-----------------------------

Картинки, фото Гугл индексирует, я вот Яндекс - что-то непонятно? - кажется не видит


 

 

  • 0

#2 MaTuR

MaTuR
  • Пользователь
  • 14 сообщений
  • Репутация: 0

Отправлено 25 Апрель 2014 - 00:49

По сути все правильно, но валидатор яндекса чтот не видит бота для картинок...

 

Я Вам советую, просто прописать 

Allow: /wp-content/uploads/

Без указания бота... яндекс сам разберется=)

Только что-то у Вас там сильно много нагромождений, имхо.


  • 0

#3 serbond

serbond
    Topic Starter
  • Пользователь
  • 52 сообщений
  • Репутация: 2

Отправлено 25 Апрель 2014 - 01:01

Спасибо!

 

Вот этот таймаут - Crawl-delay: 4 - давно хочу убрать...

А остальное - сайт молодой. закрыл пока все, что можно. Может быть есть повторы, типа - 

Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

и

Disallow: /*?*
Disallow: */*?replytocom*


  • 0

#4 yuran

yuran
  • Пользователь
  • 496 сообщений
  • Репутация: 30

Отправлено 25 Апрель 2014 - 01:07

Вопрос. А зачем вы закрыли категории ?


  • 0

#5 MaTuR

MaTuR
  • Пользователь
  • 14 сообщений
  • Репутация: 0

Отправлено 25 Апрель 2014 - 09:19

Вы /*?* уже закрыли все что со знаком вопроса=) зачем второй раз повторять? Если хотите убрать GET параметры, которые почему не использовать Clean-param: replytocom / 

 

А по тем 3-м нагромождениям вроде бы можно обойтись /*trackback


  • 1

#6 Renovatio

Renovatio
  • Пользователь
  • 187 сообщений
  • Репутация: 4

Отправлено 11 Сентябрь 2014 - 21:06

/*?* - закроет весь сайт


  • 0

#7 Sosnovskij

Sosnovskij
  • Администратор
  • 3 886 сообщений
  • Репутация: 566

Отправлено 07 Ноябрь 2014 - 13:42

Renovatio, почему? 


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#8 Nimad

Nimad
  • Пользователь
  • 139 сообщений
  • Репутация: 14

Отправлено 08 Ноябрь 2014 - 19:13

Вот здесь хорошая статья пo Robot-у: http://alaev.info/blog/post/4143


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru