Перейти к содержимому


Выбрать шаблон и создать сайт

Нужно ли теги закрывать в robots.txt

#1 Людmila

Людmila
  • Пользователь
  • 20 сообщений
  • Репутация: 1
-1

Отправлено 17 Февраль 2014 - 14:30

Иногда просматриваю robots.txt блогеров-старожилов, у них в файле нет запрета на:

 

Disallow: /tag/

 

Нужен ли такой запрет? Просмотрела в Яндексе, много ссылок таких не проиндексировано. Ваши советы?

 


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Можно ли в robots.txt указывать несколько sitemap?
  2. Как закрыть страницу в Robots.txt
  3. Нужно ли проводить какие-либо манипуляции с файлом robots.txt на хостинге reg.ru
  4. Правильно ли настроен robots.txt
  5. Можно ли изменять файл Robots.txt

#2 go.to

go.to
  • Пользователь
  • 57 сообщений
  • Репутация: 6

Отправлено 17 Февраль 2014 - 15:24

Зачем индексировать теги? Смысла от них большого нет. Переходов с них так же нет. Раньше были - сейчас нету. Так что, Disallow: /tag/ - имеет место быть. 


  • 2

#3 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 17 Февраль 2014 - 21:54

Я, например, на блоге не закрываю, так как выхода на теги у роботов поисковых систем нет. То есть нет ссылок на теги.


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#4 leo

leo
  • Пользователь
  • 17 сообщений
  • Репутация: 1

Отправлено 18 Февраль 2014 - 13:41

Ну так и вреда тоже? Почему не стоит их индексировать?


  • 0

#5 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 18 Февраль 2014 - 18:42

leo, теги зачастую представляют собой дублирующую информацию. Хотя, если грамотно использовать/организовать теги, то можно не закрывать и получать дополнительные трафик с поисковых систем.


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#6 go.to

go.to
  • Пользователь
  • 57 сообщений
  • Репутация: 6

Отправлено 18 Февраль 2014 - 21:59

leo, Зачем лишний раз дублировать контент? ПС тоже путаются время от времени. 


  • 0

#7 Angarsky

Angarsky
  • Пользователь
  • 57 сообщений
  • Репутация: 9

Отправлено 19 Февраль 2014 - 11:49

Страницы тегов можно оставить, но, как и на всех остальных страницах разделов, советую закрыть страницы пагинатора.

Disallow: /*?page*

Сообщение отредактировал Angarsky: 19 Февраль 2014 - 11:50

  • 0

#8 9planet

9planet
  • Пользователь
  • 8 сообщений
  • Репутация: 0

Отправлено 23 Февраль 2014 - 13:34

закрыть в robots обязательно. Или используйте плагин Seo Ultimate там есть функция удалить slug tag и category из URL, а также закрыть их от индексации.


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru