Перейти к содержимому



Нужно ли теги закрывать в robots.txt

#1

Поделиться сообщением #1



Людmila

Людmila
  • Неактивные
  • 20 сообщений
  • Репутация: 1
-1

Отправлено 17 Февраль 2014 - 14:30

Иногда просматриваю robots.txt блогеров-старожилов, у них в файле нет запрета на:

 

Disallow: /tag/

 

Нужен ли такой запрет? Просмотрела в Яндексе, много ссылок таких не проиндексировано. Ваши советы?

 


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Запрет на индексацию страниц сайта и отдельных частей контента
  2. Как закрыть теги от индексации в поисковых системах
  3. Вопросы по корректному составлению robots.txt
  4. Почему индексируются закрытые страницы
  5. Правильный robots.txt

#2

Поделиться сообщением #2



go.to

go.to
  • Неактивные
  • 57 сообщений
  • Репутация: 6

Отправлено 17 Февраль 2014 - 15:24

Зачем индексировать теги? Смысла от них большого нет. Переходов с них так же нет. Раньше были - сейчас нету. Так что, Disallow: /tag/ - имеет место быть. 


  • 2

#3

Поделиться сообщением #3



Sosnovskij

Sosnovskij
  • Администратор
  • 4 170 сообщений
  • Репутация: 632

Отправлено 17 Февраль 2014 - 21:54

Я, например, на блоге не закрываю, так как выхода на теги у роботов поисковых систем нет. То есть нет ссылок на теги.


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#4

Поделиться сообщением #4



leo

leo
  • Неактивные
  • 17 сообщений
  • Репутация: 1

Отправлено 18 Февраль 2014 - 13:41

Ну так и вреда тоже? Почему не стоит их индексировать?


  • 0

#5

Поделиться сообщением #5



Sosnovskij

Sosnovskij
  • Администратор
  • 4 170 сообщений
  • Репутация: 632

Отправлено 18 Февраль 2014 - 18:42

leo, теги зачастую представляют собой дублирующую информацию. Хотя, если грамотно использовать/организовать теги, то можно не закрывать и получать дополнительные трафик с поисковых систем.


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#6

Поделиться сообщением #6



go.to

go.to
  • Неактивные
  • 57 сообщений
  • Репутация: 6

Отправлено 18 Февраль 2014 - 21:59

leo, Зачем лишний раз дублировать контент? ПС тоже путаются время от времени. 


  • 0

#7

Поделиться сообщением #7



Angarsky

Angarsky
  • Неактивные
  • 57 сообщений
  • Репутация: 9

Отправлено 19 Февраль 2014 - 11:49

Страницы тегов можно оставить, но, как и на всех остальных страницах разделов, советую закрыть страницы пагинатора.

Disallow: /*?page*

Сообщение отредактировал Angarsky: 19 Февраль 2014 - 11:50

  • 0

#8

Поделиться сообщением #8



9planet

9planet
  • Неактивные
  • 8 сообщений
  • Репутация: 0

Отправлено 23 Февраль 2014 - 13:34

закрыть в robots обязательно. Или используйте плагин Seo Ultimate там есть функция удалить slug tag и category из URL, а также закрыть их от индексации.


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru