Перейти к содержимому



Директива Crawl-delay

#1

Поделиться сообщением #1



Прокурор

Прокурор
  • Неактивные
  • 222 сообщений
  • Репутация: 0
0

Отправлено 29 Июль 2008 - 21:01

Вот где я нашел про эту директиву. которую Яндекс задумал _http://webmaster.ya.ru/?ncrnd=5205 Это, что типа просьбы или помощи Яндексу, чтобы он больше и чаще индексировал сайт?

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Правильный ли robots.txt для wordpress
  2. Robots.txt - что такое и как им правильно пользоваться
  3. Правильная конфигурация robots.txt
  4. Небольшая настройка robots.txt
  5. Правильный robot.txt какой?

#2

Поделиться сообщением #2



admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 30 Июль 2008 - 00:16

Там же написано...

Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку


  • 0

#3

Поделиться сообщением #3



Прокурор

Прокурор
    Topic Starter
  • Неактивные
  • 222 сообщений
  • Репутация: 0

Отправлено 30 Июль 2008 - 00:23

И что? Там также написано, что не факт, что это будет работать. Мне интересно, стоит ли мараться - прописывать в robots
  • 0

#4

Поделиться сообщением #4



admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 30 Июль 2008 - 00:40

А вас не устраивает то, что робот часто заходит на сайт? :)
  • 0


Оформление форума – IPBSkins.ru