Перейти к содержимому

Реферальная программа Мегаплана

Партнерская программа Kredov

Значение фала robots.txt для индексации сайта

#1 Deema

Deema
  • Пользователь
  • 18 сообщений
  • Репутация: 0
0

Отправлено 19 Июнь 2013 - 08:19

Чуть больше года назад, я с целью улучшить индексацию сайта и убрать дубли взял и собрал файл robots.txt из рекомендаций, который собрал в Интернете.
Поисковики принимают его не сразу, плюс наложился фильтр от Гугла, и Яндекса (они тогда что-то подкручивали). В результате трафик на мой сайт упал раза в два.
Тогда я не понял, что дело в роботсе....

Позже, глубокий анализ показал. Что структура моего сайта такова, чтобы там, где у всех иcпользуется скажем буква "p" (точную букву указывать не стану), у меня в адресе буква "s" - таким образом дубли я почти не убрал.
Плюс к этом, не изучив внимательно структуру своего форума я его просто полностью закрыл от индексации.

Это я всё к чему. Каждая строчка файла robots.txt имеет значение. И прежде чем что-то прописать, нужно понять что именно она будет закрывать.

При этом поисковые системы помогают нам, предоставляют свои сервисы по проверки это файла.

Заново, теперь уже осознанно проработав файл robots.txt я вернул свой форум к индексации :-) А про трафик, промолчу, чтобы не спугнуть :-)

Независимо от того, делаете ли вы сайты сами или отдаёте веб-мастерам.
robots.txt - нужно проверять самому. Это не так сложно. как кажется.
Потому что мой веб-мастер, абсолютно не уделял и не уделяет внимание этому файлу... За что ему большое спасибо - сам разобрался!

 

 

  • 0

#2 Jean

Jean
  • Пользователь PRO
  • 1 237 сообщений
  • Репутация: 218

Отправлено 19 Июнь 2013 - 18:59

Deema, Возможно стоит развернуть больше проблему и описать подробнее решение?
  • 0
Научу вас Seo оптимизировать и продвигать сайт, стоимость от 150р час, теория+практика
Консультирую по Интернет рекламе



Оформление форума – IPBSkins.ru