Перейти к содержимому



Закрыть от индексации страницы сайта в robots.txt

#1

Поделиться сообщением #1



orpix

orpix
  • Неактивные
  • 100 сообщений
  • Репутация: 0
0

Отправлено 17 Май 2014 - 12:04

Всем привет. Требуется закрыть от индексации страницы сайта  МОЙСАЙТ.РУ/tag/minecraft

 

Мне нужно, чтобы все страницы сайта, которые начинаются с tag были совсем закрыты от Поисковиков.

 

Я сделал так

 

Disallow:/tag
Disallow:/tag/

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Как закрыть от индексации конкретную страницу
  2. Запрет на индексацию страниц сайта и отдельных частей контента
  3. Вопросы по корректному составлению robots.txt
  4. Запрет индексации определенного URL в robots.txt без запрета последующих
  5. Почему индексируются закрытые страницы

#2

Поделиться сообщением #2



Ixman

Ixman
  • Пользователь PRO
  • 2 574 сообщений
  • Репутация: 604

Отправлено 17 Май 2014 - 14:06

orpix, по идее должно хватить такого варианта

Disallow:/tag

  • 0


#3

Поделиться сообщением #3



yuran

yuran
  • Пользователь
  • 496 сообщений
  • Репутация: 30

Отправлено 17 Май 2014 - 14:34

А по идеи разницы нету, два варианта подойдут. Ведь в двух вариантах страницы будут закрыты где /tag. А последний / роли не играет.


  • 0

#4

Поделиться сообщением #4



orpix

orpix
    Topic Starter
  • Неактивные
  • 100 сообщений
  • Репутация: 0

Отправлено 17 Май 2014 - 14:40

Ну а страницы после слова тег тоже индексироваться не будут? например сайт.ру/tag/vopros1/vopros2 эта страница тоже не будет индексироваться?


  • 0

#5

Поделиться сообщением #5



Andrew

Andrew
  • Пользователь
  • 211 сообщений
  • Репутация: 3

Отправлено 17 Май 2014 - 17:56

да, тоже закрыта от индексации.


  • 0

#6

Поделиться сообщением #6



yuran

yuran
  • Пользователь
  • 496 сообщений
  • Репутация: 30

Отправлено 17 Май 2014 - 17:57

Да,конечно не будут. Вы же запрещаете таким образом индексацию всех страниц которые начинаются с tag/


  • 0

#7

Поделиться сообщением #7



orpix

orpix
    Topic Starter
  • Неактивные
  • 100 сообщений
  • Репутация: 0

Отправлено 18 Май 2014 - 18:45

Disallow: /*? а что запрещает вот эта строчка?


  • 0

#8

Поделиться сообщением #8



GVA

GVA
  • Супермодератор
  • 999 сообщений
  • Репутация: 205

Отправлено 18 Май 2014 - 19:04

orpix, волшебная ссылка, которая даст ответы на все ваши вопросы, относительно robots.txt  _http://help.yandex.r.../robots-txt.xml


Сообщение отредактировал GVA: 18 Май 2014 - 19:05

  • 0

#9

Поделиться сообщением #9



Renovatio

Renovatio
  • Пользователь
  • 197 сообщений
  • Репутация: 5

Отправлено 11 Сентябрь 2014 - 21:07

Disallow: /*? а что запрещает вот эта строчка?

 

весь сайт закроете


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru