Перейти к содержимому



Вопрос по robots.txt

#1 Леший
Леший
  • Неактивные
  • 17 сообщений
  • Репутация: 1
0

Отправлено 04 Сентябрь 2012 - 20:49

В файле прописываю:

User-agent: Press
Disallow: fit
Согласно стандартам эта директива запрещает индексировать файл press и каталог fit. Но что-то не так, что-то не работает.
Может, лучше для верности использовать слэш "/", может, робот не может отличить файл от каталога...
Вообще, почему может не работать?

 

 

  • 0

#2 Jean
Jean
  • Пользователь PRO
  • 1 261 сообщений
  • Репутация: 223

Отправлено 04 Сентябрь 2012 - 21:05

Леший, Может почитать мануал? http://robotstxt.org...sexclusion/spec советую))
Да вы верно поняли корень своей ошибки)
  • 0

Научу вас Seo оптимизировать и продвигать сайт, стоимость от 550р час, теория+практика
Консультирую по Интернет рекламе



#3 Sosnovskij
Sosnovskij
  • Администратор
  • 5 234 сообщений
  • Репутация: 783

Отправлено 05 Сентябрь 2012 - 10:11

В user agent нужно указывать для кого даются условия, а не какие файлы нужны скрыть от индексации :)
  • 1

Блог — https://sosnovskij.ru/. Добавить меня в TelegramTwitterFacebook.





Похожие темы
  Название темы Автор Статистика Последнее сообщение

× Быстрый вопрос
Пользователь месяца
Rodiola Rodiola 1-й за Август
Очков активности: 1 552 3 темы, 106 сообщений, 9 баллов репутации
Сайт: rukodelkovo.ru
ТОП самых активных за этот месяц
  • Фотография MattCutts
    #1

    MattCutts (dmitrylee.ru)
    Очков активности: 954 6 тем, 88 сообщений, 6 баллов репутации

  • Фотография Андрей WPM
    #2

    Андрей WPM (wpmaster.kz)
    Очков активности: 483 Вне конкурса за определение пользователя месяца

  • Фотография lena220678
    #3

    lena220678
    Очков активности: 43.5 2 темы, 23 сообщения, 1 балл репутации

  • Фотография Chaser
    #4

    Chaser (majento.ru)
    Очков активности: 33 1 тема, 8 сообщений, 2 балла репутации

  • Фотография maxnik
    #5

    maxnik (konovalovpavel.ru)
    Очков активности: 30 0 тем, 10 сообщений, 2 балла репутации

  • Фотография BLIK
    #6

    BLIK
    Очков активности: 27 0 тем, 18 сообщений, 1 балл репутации

  • Фотография Megoydagi
    #7

    Megoydagi (24ho.ru)
    Очков активности: 25.5 2 темы, 11 сообщений, 1 балл репутации

  • Фотография Rodiola
    #8

    Rodiola (rukodelkovo.ru)
    Очков активности: 24 Вне конкурса за определение пользователя месяца

  • Фотография Constantine
    #9

    Constantine (constantine.video.blog)
    Очков активности: 19.5 2 темы, 7 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #10

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 15 0 тем, 10 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 27.08.2019
  • Яндекс выдача: 20.09.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru