[X] Помощник

[fairtex Topic Starter]

Здравствуйте!

Ознакомился с  яндекс robot.txt, и понял что это очень опасный файл, с которым нужно работать аккуратно.

Мне нужно убрать всего 1 дубль страницы (дубль главной страницы):

"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония"

но боюсь случайно запретить к индексации следующие адреса:

"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония/свадьба-на-пхукете-в-тайском-стиле"

и еще 5 таких же страниц после дубля.

 

мне нужно добавить в robot.txt 

Disallow: /свадьба-на-пхукете-церемония$    

 

?

меня волнует, чтобы нормально индексировались ссылки типа:

"h,t,t,p://свадьба-на-пхукете.рф/свадьба-на-пхукете-церемония/свадьба-на-пхукете-в-тайском-стиле"

[sosnovskij]

fairtex, правильно с $, но корректно будет так

Disallow: /%D1%81%D0%B2%D0%B0%D0%B4%D1%8C%D0%B1%D0%B0-%D0%BD%D0%B0-%D0%BF%D1%85%D1%83%D0%BA%D0%B5%D1%82%D0%B5-%D1%86%D0%B5%D1%80%D0%B5%D0%BC%D0%BE%D0%BD%D0%B8%D1%8F$

[fairtex Topic Starter]

Sosnovskij,Спасибо, ато очень волнуюсь, это мой типа основной проэкт и я на него возлагаю надежды :)
Скажите, если я  добавлю сайт в гугл кабинет и в яндекс - я же отудого могу потом глянуть страниы в индексе и то как воспринимает ПС вот этот запрет?
 

[sosnovskij]

fairtex, вы можете проверить корректность robots.txt и без добавления https://webmaster.yandex.ru/robots.xml :)

[fairtex Topic Starter]

Sosnovskij,Я там проверял, но там же не написано какие страницы попадут в индекс для роботов, а какие нет :)
хотя я целиком доверяю любимому форуму, а особенно столь авторитетным лицам :)

[sosnovskij]

fairtex, для проверки вставляйте страницы, которые точно должны индексироваться. Скрипт покажет будут они индексироваться или нет :)

[fairtex Topic Starter]

Sosnovskij, Ух ты... ))) Вот это я понимаю - нужная штука!! 
Скажите, если у меня есть дубли типа:
приоритет: домен/menu/page1
дубль: домен/index.php/menu/page1
Я сделал редирект перенаправления с дубля на приоритет.
Если у меня появляеться новая страница на сайте, а с ней и дубыль через index.php - может лучше запрещать дубыль через робот чем редиректом?

[ShowPrint]

Думаю что редирект будет правильнее...
Надо понять какие именно дубли у Вас появляются с каждой страницей, единожды создать правило для редиректа и забыть про эти дубли навсегда...

Правильнее по смыслу: через robots.txt запрещается индексирование дубля, но не его существование, т.е. фактически можно зайти и на одну страницу, и на вторую... Кто его знает когда и в каком месте может вылезти какой-то глюк.

Настраивая правило редирект-а дубль практически склеивается с приоритетом - его как бы физически нет... Это означает что а) на него нельзя попасть; б) его нельзя проиндексировать...

[fairtex Topic Starter]

ShowPrint,Спасибо! :smile-thumb-up:  

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.