Перейти к содержимому



Вопрос по robots.txt

#1 Леший
Леший
  • Неактивные
  • 17 сообщений
  • Репутация: 1
0

Отправлено 04 Сентябрь 2012 - 20:49

В файле прописываю:

User-agent: Press
Disallow: fit
Согласно стандартам эта директива запрещает индексировать файл press и каталог fit. Но что-то не так, что-то не работает.
Может, лучше для верности использовать слэш "/", может, робот не может отличить файл от каталога...
Вообще, почему может не работать?

 

 

  • 0

#2 Jean
Jean
  • Пользователь PRO
  • 1 261 сообщений
  • Репутация: 224

Отправлено 04 Сентябрь 2012 - 21:05

Леший, Может почитать мануал? http://robotstxt.org...sexclusion/spec советую))
Да вы верно поняли корень своей ошибки)
  • 0

Научу вас Seo оптимизировать и продвигать сайт, стоимость от 550р час, теория+практика
Консультирую по Интернет рекламе



#3 Sosnovskij
Sosnovskij
  • Администратор
  • 5 352 сообщений
  • Репутация: 812

Отправлено 05 Сентябрь 2012 - 10:11

В user agent нужно указывать для кого даются условия, а не какие файлы нужны скрыть от индексации :)
  • 1

:excl: Требуется линкбилдер: браузер + Excel. Сдельная оплата + бонусы. Блог — https://sosnovskij.ru/. Добавить меня в TelegramTwitterFacebook.





Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
FIvYUr FIvYUr 1-й за Декабрь
Очков активности: 2 062 0 тем, 125 сообщений, 11 баллов репутации
Сайт: moy-evroopt.ru
ТОП самых активных за этот месяц
  • Фотография albedo
    #1

    albedo (online24news.ru)
    Очков активности: 756 5 тем, 69 сообщений, 6 баллов репутации

  • Фотография Totti
    #2

    Totti
    Очков активности: 325.5 2 темы, 25 сообщений, 7 баллов репутации

  • Фотография Bilish
    #3

    Bilish
    Очков активности: 147 20 тем, 38 сообщений, 1 балл репутации

  • Фотография BLIK
    #4

    BLIK
    Очков активности: 54 Вне конкурса за определение пользователя месяца

  • Фотография Vmir
    #5

    Vmir
    Очков активности: 51 0 тем, 17 сообщений, 2 балла репутации

  • Фотография ShowPrint
    #6

    ShowPrint (ShowPrint.ru)
    Очков активности: 48 0 тем, 8 сообщений, 4 балла репутации

  • Фотография Santey
    #7

    Santey
    Очков активности: 37.5 4 темы, 13 сообщений, 1 балл репутации

  • Фотография Megoydagi
    #8

    Megoydagi (24ho.ru)
    Очков активности: 33 3 темы, 13 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #9

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 28.5 Вне конкурса за определение пользователя месяца

  • Фотография MattCutts
    #10

    MattCutts (dmitrylee.ru)
    Очков активности: 24 Вне конкурса за определение пользователя месяца

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 27.12.2019
  • Яндекс выдача: 19.01.2020
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru