[X] Помощник

[ssabbass Topic Starter]

Имеются дубли:
www.site.com и site.com. Как закрыть первый вариант в роботс? Вот так прокатит?? Disallow: www.site.com

Имеются дубли:
site.com/page и site.com/page/  Как закрыть первый вариант в роботс? ВАЖНО: ниже страниц идет контент, т.е. статьи! и заблокировать нужно конкретный вариант без слеша, не задев ничего другого! Есть опасения, что Disallow: /page заблокирует лишнее... или нет?

[BLIK]

ssabbass,Для того чтоб дублей не было, надо сначала сделать редирект на www или без (какой именно нужен) и в robots указать в поле host нужный url  (host указывается только для Яндекса)

Про второй вариант не понял..


Сообщение отредактировал BLIK - 21.10.2015, 19:45

[ssabbass Topic Starter]

BLIK_mw, все это уже сделано. Редиректы стоят и работают, зеркала выставлены, host прописан корректно, НО дубли ведь все равно остаются? То есть вес страницы уменьшается теоретически? И речь даже не о главной, а о вложенной, например, карте сайта для пользователей, доступной одновременно по 2-м динамическим адресам:

www.site.com/?do=sitemap (нужно закрыть в роботс)
site.com/?do=sitemap

Разве хорошо, что они - дубли? Или же на этот счет можно не беспокоиться? Одно знаю точно - программа Screaming Frog SEO Spider (паук, если проще) распознает эти дубли, отвечающие на запросы 200 и не закрытые к индексации... Это ведь не очень хорошо. Причем, дубли заметны лишь на динамических URL. Со статическими страницами статей таких проблем нет.

//По второму пункту: страница одновременно доступна по адресам:

site.com/page (нужно закрыть в роботс)
site.com/page/

Тот же самый Screaming Frog SEO Spider распознает здесь дубли. Как закрыть первый вариант, чтоб не задеть страниц вроде:

site.com/page/article1
site.com/page/article2 ...

[BLIK]

www.site.com/?do=sitemap (нужно закрыть в роботс)

В самом robots указан URL  на карту? (если нет то указываем url по нужному адресу главному домену как и в host).

Если редирект стоит и правильно обрабатывает то дублей с www быть не должно.

Попробуй сначала в вебмастере проверить(без реальных изменений в robots)

Пропиши там Disallow: /*page  и внизу впиши url страниц и проверь, что закроет.

[ssabbass Topic Starter]

Пропиши там Disallow: /*page и внизу впиши url страниц и проверь, что закроет.

Вот это отличная мысль! :)

По первому пункту карта сайта для роботов -  XML - прописана в роботс корректно (в моем примере речь о пользовательской карте сайта). Просто странно получается - в дубли попадают лишь страницы с динамическими адресами типа:

http://site.com/?do=tags
http://www.site.com/?do=tags
http://site.com/?do=search
http://www.site.com/?do=search
http://www.site.com/?do=feedback
http://site.com/?do=feedback

Хоть эти страницы и не очень важны, но раз уж начал делать - хочется довести все до конца - избавиться от дублей.
 

Сообщение отредактировал ssabbass - 21.10.2015, 21:47

[BLIK]

ssabbass, Ну и закрыть их таким образом

 Disallow: /*?do=tags

Или таким( если нет нужных url с do)

Disallow: /*?do=

И проверить в вебмастере и потом внести правки.


Сообщение отредактировал BLIK - 21.10.2015, 21:57

[ssabbass Topic Starter]

Вот так, видимо, и поступлю. Отсеку дубли тегов и прочий хлам. Благодарю за подсказки!

[BLIK]

ssabbass,Да, но проверь, а то может хватит одной строчки (второй которая выше) и она закроет все страницы в которых будет do= (если на сайте нет нужных страницы с do

Так будет лучше чем 5+ строчек для закрытия тегов,поиска по отдельности. 

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.