Перейти к содержимому


Пользователь месяца
TimurR TimurR 1-й за Август
Очков активности: 726 3 темы, 35 сообщений, 11 баллов репутации
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 207 2 темы, 17 сообщений, 6 баллов репутации

  • Фотография Ixman
    #2

    Ixman (o5cat.ru)
    Очков активности: 72 0 тем, 8 сообщений, 6 баллов репутации

  • Фотография WGN
    #3

    WGN (worldgamenews.com)
    Очков активности: 69 Вне конкурса за определение пользователя месяца

  • Фотография magnet
    #4

    magnet (rbfxdirect.com)
    Очков активности: 67.5 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #5

    BLIK
    Очков активности: 30 Вне конкурса за определение пользователя месяца

  • Фотография AnnaYa
    #6

    AnnaYa (topbase.ru)
    Очков активности: 30 2 темы, 4 сообщения, 2 балла репутации

  • Фотография Алексей111
    #7

    Алексей111
    Очков активности: 28.5 5 тем, 4 сообщения, 1 балл репутации

  • Фотография TimurR
    #8

    TimurR
    Очков активности: 27 Вне конкурса за определение пользователя месяца

  • Фотография torix
    #9

    torix
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография Developer
    #10

    Developer
    Очков активности: 21 1 тема, 11 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Kwork.ru - услуги фрилансеров от 500 руб.

Поддержите форум! =)
Апдейты
  • Яндекс тИЦ: 19.11.2017
  • Яндекс выдача: 20.09.2018
Топ 5 участников по репутации


Правильная конфигурация robots.txt

#1 serbond

serbond
  • Пользователь
  • 64 сообщений
  • Репутация: 3
0

Отправлено 24 April 2014 - 21:19

Вопрос:

Правильно ли составлен robots.txt

Больше всего меня интересует правильность конфигурации:

- в верхних блоках закрыты 

Disallow: /2013/*

Disallow: /2014/*

 

- а в самом конце открыта директория /wp-content/uploads/  

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

-----------------------------

Картинки, фото Гугл индексирует, я вот Яндекс - что-то непонятно? - кажется не видит


 

 

  • 0

#2 MaTuR

MaTuR
  • Неактивные
  • 14 сообщений
  • Репутация: 0

Отправлено 25 April 2014 - 00:49

По сути все правильно, но валидатор яндекса чтот не видит бота для картинок...

 

Я Вам советую, просто прописать 

Allow: /wp-content/uploads/

Без указания бота... яндекс сам разберется=)

Только что-то у Вас там сильно много нагромождений, имхо.


  • 0

#3 serbond

serbond
    Topic Starter
  • Пользователь
  • 64 сообщений
  • Репутация: 3

Отправлено 25 April 2014 - 01:01

Спасибо!

 

Вот этот таймаут - Crawl-delay: 4 - давно хочу убрать...

А остальное - сайт молодой. закрыл пока все, что можно. Может быть есть повторы, типа - 

Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

и

Disallow: /*?*
Disallow: */*?replytocom*


  • 0

#4 yuran

yuran
  • Пользователь
  • 569 сообщений
  • Репутация: 33

Отправлено 25 April 2014 - 01:07

Вопрос. А зачем вы закрыли категории ?


  • 0


#5 MaTuR

MaTuR
  • Неактивные
  • 14 сообщений
  • Репутация: 0

Отправлено 25 April 2014 - 09:19

Вы /*?* уже закрыли все что со знаком вопроса=) зачем второй раз повторять? Если хотите убрать GET параметры, которые почему не использовать Clean-param: replytocom / 

 

А по тем 3-м нагромождениям вроде бы можно обойтись /*trackback


  • 1

#6 Renovatio

Renovatio
  • Пользователь
  • 209 сообщений
  • Репутация: 5

Отправлено 11 September 2014 - 21:06

/*?* - закроет весь сайт


  • 0

#7 Sosnovskij

Sosnovskij
  • Администратор
  • 4682 сообщений
  • Репутация: 705

Отправлено 07 November 2014 - 13:42

Renovatio, почему? 


  • 0

:excl: Требуется ЛинкБилдер (создание ссылочной массы, 1200-1600 руб в сутки). Блог — https://sosnovskij.ru/.



#8 Nimad

Nimad
  • Неактивные
  • 139 сообщений
  • Репутация: 14

Отправлено 08 November 2014 - 19:13

Вот здесь хорошая статья пo Robot-у: http://alaev.info/blog/post/4143


  • 0

robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru