Перейти к содержимому



Robots.txt: Как скрыть подкаталог?

#1

Поделиться сообщением #1



Gagarin

Gagarin
  • Неактивные
  • 323 сообщений
  • Репутация: 0
0

Отправлено 27 Декабрь 2011 - 14:06

Добрый день.

Пытаюсь скрыть мусорные страницы через robots.txt.

Мусорные страницы имеют вид:
domen.ru/gallery-1/detail/photo-1+(какие системные названия)
domen.ru/gallery-2/detail/photo-3+(какие системные названия)
domen.ru/gallery-N/detail/photo-N+(какие системные названия)

Как закрыть такое?

Можно так:
Disallow: /detail/ (при условии, что detail это под-подраздлел?)
Или:
Disallow: */detail/* (при условии, что detail это под-подраздлел?)

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Robots.txt
  2. Как закрыть страницу в Robots.txt
  3. Секреты внутренней SEO-оптимизации сайта: как получить максимальный результат?
  4. Вопросы по корректному составлению robots.txt
  5. Небольшая настройка robots.txt

#2

Поделиться сообщением #2



Banderas

Banderas
  • Неактивные
  • 1 168 сообщений
  • Репутация: 1

Отправлено 27 Декабрь 2011 - 18:03

насколько я знаю, не все пауки работают с регулярками... так что * и $ использовать не желается
  • 0


#3

Поделиться сообщением #3



Gagarin

Gagarin
    Topic Starter
  • Неактивные
  • 323 сообщений
  • Репутация: 0

Отправлено 27 Декабрь 2011 - 20:09

Интересует Яндекс, он в курсе :rolleyes:
  • 0

#4

Поделиться сообщением #4



Gagarin

Gagarin
    Topic Starter
  • Неактивные
  • 323 сообщений
  • Репутация: 0

Отправлено 06 Январь 2012 - 11:17

Можно и так, и так:
Disallow: /detail/
Disallow: */detail/*

По крайней мере "вебмастер" Яндекса при проверке ошибку не выдал.
  • 0


Оформление форума – IPBSkins.ru