Перейти к содержимому


Баннерная сеть GinAds

Директива Crawl-delay

#1 Прокурор

Прокурор
  • Неактивные
  • 222 сообщений
  • Репутация: 0
0

Отправлено 29 Июль 2008 - 21:01

Вот где я нашел про эту директиву. которую Яндекс задумал _http://webmaster.ya.ru/?ncrnd=5205 Это, что типа просьбы или помощи Яндексу, чтобы он больше и чаще индексировал сайт?

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Нужен совет.
  2. Заменил роботс.тхт исчезла индексация
  3. Robots.txt - что такое и как им правильно пользоваться
  4. Правильная конфигурация robots.txt
  5. Небольшая настройка robots.txt

#2 admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 30 Июль 2008 - 00:16

Там же написано...

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку


  • 0

#3 Прокурор

Прокурор
    Topic Starter
  • Неактивные
  • 222 сообщений
  • Репутация: 0

Отправлено 30 Июль 2008 - 00:23

И что? Там также написано, что не факт, что это будет работать. Мне интересно, стоит ли мараться - прописывать в robots
  • 0

#4 admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 30 Июль 2008 - 00:40

А вас не устраивает то, что робот часто заходит на сайт? :)
  • 0


Оформление форума – IPBSkins.ru