Перейти к содержимому

Реферальная программа Мегаплана

Партнерская программа Kredov

Несколько robots

#11 Bender

Bender
  • Пользователь
  • 712 сообщений
  • Репутация: 0
0

Отправлено 19 Февраль 2009 - 16:02

Bender, как вы заметили от ПС прячат те файлы, к которым доступ он иметь не должен.
Например нафига ему индексировать админку, а точнее файлы лежащие в папке с админкой. Или файлы, которые подключаются к скрипту в процессе сборки проекта, но ни одна ссылка в проекте на него не ведёт.

Так зачем же поисковику их индексить, вот и запрещают ;)

А почему у вас на форуме нет robots.txt?
  • 0

#12 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 19 Февраль 2009 - 17:48

Я думаю, что это не так важно.
  • 0


Оформление форума – IPBSkins.ru