Перейти к содержимому

Реферальная программа Мегаплана

Выбрать шаблон и создать сайт

Вопрос по robots.txt

#1 Леший

Леший
  • Пользователь
  • 17 сообщений
  • Репутация: 1
0

Отправлено 04 Сентябрь 2012 - 20:49

В файле прописываю:

User-agent: Press
Disallow: fit
Согласно стандартам эта директива запрещает индексировать файл press и каталог fit. Но что-то не так, что-то не работает.
Может, лучше для верности использовать слэш "/", может, робот не может отличить файл от каталога...
Вообще, почему может не работать?

 

 

  • 0

#2 Jean

Jean
  • Пользователь PRO
  • 1 237 сообщений
  • Репутация: 218

Отправлено 04 Сентябрь 2012 - 21:05

Леший, Может почитать мануал? http://robotstxt.org...sexclusion/spec советую))
Да вы верно поняли корень своей ошибки)
  • 0
Научу вас Seo оптимизировать и продвигать сайт, стоимость от 150р час, теория+практика
Консультирую по Интернет рекламе


#3 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 05 Сентябрь 2012 - 10:11

В user agent нужно указывать для кого даются условия, а не какие файлы нужны скрыть от индексации :)
  • 1

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.




Оформление форума – IPBSkins.ru