[X] Помощник

[serbond Topic Starter]

Вопрос:
Правильно ли составлен robots.txt
Больше всего меня интересует правильность конфигурации:
- в верхних блоках закрыты 
Disallow: /2013/*
Disallow: /2014/*

- а в самом конце открыта директория /wp-content/uploads/  
User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
-----------------------------
Картинки, фото Гугл индексирует, я вот Яндекс - что-то непонятно? - кажется не видит

[MaTuR]

По сути все правильно, но валидатор яндекса чтот не видит бота для картинок...

Я Вам советую, просто прописать 
Allow: /wp-content/uploads/
Без указания бота... яндекс сам разберется=)
Только что-то у Вас там сильно много нагромождений, имхо.

[serbond Topic Starter]

Спасибо!

Вот этот таймаут - Crawl-delay: 4 - давно хочу убрать...
А остальное - сайт молодой. закрыл пока все, что можно. Может быть есть повторы, типа - 
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
и
Disallow: /*?*
Disallow: */*?replytocom*

[Yurbol]

Вопрос. А зачем вы закрыли категории ?

[MaTuR]

Вы /*?* уже закрыли все что со знаком вопроса=) зачем второй раз повторять? Если хотите убрать GET параметры, которые почему не использовать Clean-param: replytocom / 

А по тем 3-м нагромождениям вроде бы можно обойтись /*trackback

[dreemix]

/*?* - закроет весь сайт

[sosnovskij]

[member=Renovatio], почему? 

[Nimad]

Вот здесь хорошая статья пo Robot-у: http://alaev.info/blog/post/4143

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.