Перейти к содержимому

Сервис обмена электронных валют


Настройка ROBOTS - борьба с дублями

#1 ssabbass

ssabbass
  • Пользователь
  • 280 сообщений
  • Репутация: 33
0

Отправлено 21 Октябрь 2015 - 18:25

Имеются дубли:

www.site.com и site.com. Как закрыть первый вариант в роботс? Вот так прокатит?? Disallow: www.site.com

 

Имеются дубли:

site.com/page и site.com/page/  Как закрыть первый вариант в роботс? ВАЖНО: ниже страниц идет контент, т.е. статьи! и заблокировать нужно конкретный вариант без слеша, не задев ничего другого! Есть опасения, что Disallow: /page заблокирует лишнее... или нет?

 

 


 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 21 Октябрь 2015 - 18:44

@ssabbass,Для того чтоб дублей не было, надо сначала сделать редирект на www или без (какой именно нужен) и в robots указать в поле host нужный url  (host указывается только для Яндекса)

 

Про второй вариант не понял..


Сообщение отредактировал BLIK: 21 Октябрь 2015 - 18:45

  • 0


#3 ssabbass

ssabbass
    Topic Starter
  • Пользователь
  • 280 сообщений
  • Репутация: 33

Отправлено 21 Октябрь 2015 - 19:36

@BLIK, все это уже сделано. Редиректы стоят и работают, зеркала выставлены, host прописан корректно, НО дубли ведь все равно остаются? То есть вес страницы уменьшается теоретически? И речь даже не о главной, а о вложенной, например, карте сайта для пользователей, доступной одновременно по 2-м динамическим адресам:

 

www.site.com/?do=sitemap (нужно закрыть в роботс)

site.com/?do=sitemap

 

Разве хорошо, что они - дубли? Или же на этот счет можно не беспокоиться? Одно знаю точно - программа Screaming Frog SEO Spider (паук, если проще) распознает эти дубли, отвечающие на запросы 200 и не закрытые к индексации... Это ведь не очень хорошо. Причем, дубли заметны лишь на динамических URL. Со статическими страницами статей таких проблем нет.

 

//По второму пункту: страница одновременно доступна по адресам:

 

site.com/page (нужно закрыть в роботс)

site.com/page/

 

Тот же самый Screaming Frog SEO Spider распознает здесь дубли. Как закрыть первый вариант, чтоб не задеть страниц вроде:

 

site.com/page/article1

site.com/page/article2 ...


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 21 Октябрь 2015 - 19:44

www.site.com/?do=sitemap (нужно закрыть в роботс)
В самом robots указан URL  на карту? (если нет то указываем url по нужному адресу главному домену как и в host).

 

Если редирект стоит и правильно обрабатывает то дублей с www быть не должно.

 

Попробуй сначала в вебмастере проверить(без реальных изменений в robots)

 

Пропиши там Disallow: /*page  и внизу впиши url страниц и проверь, что закроет.


  • 1


#5 ssabbass

ssabbass
    Topic Starter
  • Пользователь
  • 280 сообщений
  • Репутация: 33

Отправлено 21 Октябрь 2015 - 20:44

Пропиши там Disallow: /*page и внизу впиши url страниц и проверь, что закроет.

Вот это отличная мысль! :)

По первому пункту карта сайта для роботов -  XML - прописана в роботс корректно (в моем примере речь о пользовательской карте сайта). Просто странно получается - в дубли попадают лишь страницы с динамическими адресами типа:

http://site.com/?do=tags
http://www.site.com/?do=tags
http://site.com/?do=search
http://www.site.com/?do=search
http://www.site.com/?do=feedback
http://site.com/?do=feedback

Хоть эти страницы и не очень важны, но раз уж начал делать - хочется довести все до конца - избавиться от дублей.
 


Сообщение отредактировал ssabbass: 21 Октябрь 2015 - 20:47

  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 21 Октябрь 2015 - 20:55

@ssabbass, Ну и закрыть их таким образом

 

 Disallow: /*?do=tags

 

Или таким( если нет нужных url с do)

 

Disallow: /*?do=

 

И проверить в вебмастере и потом внести правки.


Сообщение отредактировал BLIK: 21 Октябрь 2015 - 20:57

  • 0


#7 ssabbass

ssabbass
    Topic Starter
  • Пользователь
  • 280 сообщений
  • Репутация: 33

Отправлено 21 Октябрь 2015 - 21:14

Вот так, видимо, и поступлю. Отсеку дубли тегов и прочий хлам. Благодарю за подсказки!


  • 0

#8 BLIK

BLIK
  • Супермодератор
  • 3 173 сообщений
  • Репутация: 632

Отправлено 21 Октябрь 2015 - 21:17

@ssabbass,Да, но проверь, а то может хватит одной строчки (второй которая выше) и она закроет все страницы в которых будет do= (если на сайте нет нужных страницы с do

 

Так будет лучше чем 5+ строчек для закрытия тегов,поиска по отдельности. 


  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru