Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Запрет индексации определенного URL в robots.txt без запрета последующих

#1 fairtex

fairtex
  • Пользователь
  • 154 сообщений
  • Репутация: 3
0

Отправлено 07 Август 2015 - 18:47

Здравствуйте!
Ознакомился с  яндекс robot.txt, и понял что это очень опасный файл, с которым нужно работать аккуратно.
Мне нужно убрать всего 1 дубль страницы (дубль главной страницы):
"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония"
но боюсь случайно запретить к индексации следующие адреса:
"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония/свадьба-на-пхукете-в-тайском-стиле"
и еще 5 таких же страниц после дубля.
 
мне нужно добавить в robot.txt 
Disallow: /свадьба-на-пхукете-церемония$    
 
?
меня волнует, чтобы нормально индексировались ссылки типа:
"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония/свадьба-на-пхукете-в-тайском-стиле"

 

 

  • 0

#2 Sosnovskij

Sosnovskij
  • Администратор
  • 3 886 сообщений
  • Репутация: 566

Отправлено 08 Август 2015 - 15:25

@fairtex, правильно с $, но корректно будет так

Disallow: /%D1%81%D0%B2%D0%B0%D0%B4%D1%8C%D0%B1%D0%B0-%D0%BD%D0%B0-%D0%BF%D1%85%D1%83%D0%BA%D0%B5%D1%82%D0%B5-%D1%86%D0%B5%D1%80%D0%B5%D0%BC%D0%BE%D0%BD%D0%B8%D1%8F$

  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#3 fairtex

fairtex
    Topic Starter
  • Пользователь
  • 154 сообщений
  • Репутация: 3

Отправлено 09 Август 2015 - 19:30

@Sosnovskij,Спасибо, ато очень волнуюсь, это мой типа основной проэкт и я на него возлагаю надежды :)
Скажите, если я  добавлю сайт в гугл кабинет и в яндекс - я же отудого могу потом глянуть страниы в индексе и то как воспринимает ПС вот этот запрет?
 


  • 0

#4 Sosnovskij

Sosnovskij
  • Администратор
  • 3 886 сообщений
  • Репутация: 566

Отправлено 11 Август 2015 - 11:40

@fairtex, вы можете проверить корректность robots.txt и без добавления https://webmaster.yandex.ru/robots.xml :)


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#5 fairtex

fairtex
    Topic Starter
  • Пользователь
  • 154 сообщений
  • Репутация: 3

Отправлено 12 Август 2015 - 16:12

@Sosnovskij,Я там проверял, но там же не написано какие страницы попадут в индекс для роботов, а какие нет :)
хотя я целиком доверяю любимому форуму, а особенно столь авторитетным лицам :)


  • 0

#6 Sosnovskij

Sosnovskij
  • Администратор
  • 3 886 сообщений
  • Репутация: 566

Отправлено 13 Август 2015 - 14:32

@fairtex, для проверки вставляйте страницы, которые точно должны индексироваться. Скрипт покажет будут они индексироваться или нет :)


  • 1

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#7 fairtex

fairtex
    Topic Starter
  • Пользователь
  • 154 сообщений
  • Репутация: 3

Отправлено 14 Август 2015 - 06:50

@Sosnovskij, Ух ты... ))) Вот это я понимаю - нужная штука!! 
Скажите, если у меня есть дубли типа:
приоритет: домен/menu/page1

дубль: домен/index.php/menu/page1
Я сделал редирект перенаправления с дубля на приоритет.
Если у меня появляеться новая страница на сайте, а с ней и дубыль через index.php - может лучше запрещать дубыль через робот чем редиректом?


  • 0

#8 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 718 сообщений
  • Репутация: 408

Отправлено 14 Август 2015 - 08:23

Думаю что редирект будет правильнее...

Надо понять какие именно дубли у Вас появляются с каждой страницей, единожды создать правило для редиректа и забыть про эти дубли навсегда...

 

Правильнее по смыслу: через robots.txt запрещается индексирование дубля, но не его существование, т.е. фактически можно зайти и на одну страницу, и на вторую... Кто его знает когда и в каком месте может вылезти какой-то глюк.

 

Настраивая правило редирект-а дубль практически склеивается с приоритетом - его как бы физически нет... Это означает что а) на него нельзя попасть; б) его нельзя проиндексировать...


  • 1
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#9 fairtex

fairtex
    Topic Starter
  • Пользователь
  • 154 сообщений
  • Репутация: 3

Отправлено 14 Август 2015 - 11:05

@ShowPrint,Спасибо! :smile-thumb-up:  


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru