Перейти к содержимому



Вопрос по robots.txt

#1 Леший
Леший
  • Неактивные
  • 17 сообщений
  • Репутация: 1
0

Отправлено 04 Сентябрь 2012 - 20:49

В файле прописываю:

User-agent: Press
Disallow: fit
Согласно стандартам эта директива запрещает индексировать файл press и каталог fit. Но что-то не так, что-то не работает.
Может, лучше для верности использовать слэш "/", может, робот не может отличить файл от каталога...
Вообще, почему может не работать?

 

 

  • 0

#2 Jean
Jean
  • Пользователь PRO
  • 1 261 сообщений
  • Репутация: 223

Отправлено 04 Сентябрь 2012 - 21:05

Леший, Может почитать мануал? http://robotstxt.org...sexclusion/spec советую))
Да вы верно поняли корень своей ошибки)
  • 0

Научу вас Seo оптимизировать и продвигать сайт, стоимость от 550р час, теория+практика
Консультирую по Интернет рекламе



#3 Sosnovskij
Sosnovskij
  • Администратор
  • 5 254 сообщений
  • Репутация: 788

Отправлено 05 Сентябрь 2012 - 10:11

В user agent нужно указывать для кого даются условия, а не какие файлы нужны скрыть от индексации :)
  • 1

Блог — https://sosnovskij.ru/. Добавить меня в TelegramTwitterFacebook.





Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
NataliaAntalia NataliaAntalia 1-й за Октябрь
Очков активности: 480 2 темы, 58 сообщений, 5 баллов репутации
Сайт: zdorovemedicina.ru
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 255 0 тем, 17 сообщений, 10 баллов репутации

  • Фотография BLIK
    #2

    BLIK
    Очков активности: 157.5 0 тем, 15 сообщений, 7 баллов репутации

  • Фотография NataliaAntalia
    #3

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 132 Вне конкурса за определение пользователя месяца

  • Фотография Megoydagi
    #4

    Megoydagi (24ho.ru)
    Очков активности: 78 4 темы, 14 сообщений, 2 балла репутации

  • Фотография Totti
    #5

    Totti
    Очков активности: 54 0 тем, 9 сообщений, 4 балла репутации

  • Фотография MattCutts
    #6

    MattCutts (dmitrylee.ru)
    Очков активности: 45 Вне конкурса за определение пользователя месяца

  • Фотография miketomlin
    #7

    miketomlin
    Очков активности: 45 0 тем, 10 сообщений, 3 балла репутации

  • Фотография TimurR
    #8

    TimurR
    Очков активности: 30 2 темы, 4 сообщения, 2 балла репутации

  • Фотография Vmir
    #9

    Vmir
    Очков активности: 28.5 2 темы, 13 сообщений, 1 балл репутации

  • Фотография kolver
    #10

    kolver
    Очков активности: 21 3 темы, 5 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.10.2019
  • Яндекс выдача: 10.11.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru