[X] Помощник

[Deema Topic Starter]

Чуть больше года назад, я с целью улучшить индексацию сайта и убрать дубли взял и собрал файл robots.txt из рекомендаций, который собрал в Интернете.
Поисковики принимают его не сразу, плюс наложился фильтр от Гугла, и Яндекса (они тогда что-то подкручивали). В результате трафик на мой сайт упал раза в два.
Тогда я не понял, что дело в роботсе....

Позже, глубокий анализ показал. Что структура моего сайта такова, чтобы там, где у всех иcпользуется скажем буква "p" (точную букву указывать не стану), у меня в адресе буква "s" - таким образом дубли я почти не убрал.
Плюс к этом, не изучив внимательно структуру своего форума я его просто полностью закрыл от индексации.

Это я всё к чему. Каждая строчка файла robots.txt имеет значение. И прежде чем что-то прописать, нужно понять что именно она будет закрывать.

При этом поисковые системы помогают нам, предоставляют свои сервисы по проверки это файла.

Заново, теперь уже осознанно проработав файл robots.txt я вернул свой форум к индексации :-) А про трафик, промолчу, чтобы не спугнуть :-)

Независимо от того, делаете ли вы сайты сами или отдаёте веб-мастерам.
robots.txt - нужно проверять самому. Это не так сложно. как кажется.
Потому что мой веб-мастер, абсолютно не уделял и не уделяет внимание этому файлу... За что ему большое спасибо - сам разобрался!

[Jean]

[member=Deema], Возможно стоит развернуть больше проблему и описать подробнее решение?

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.