Помощник
|
Почему индексируются закрытые страницы |
semarg
|
Сообщение
#1
|
||
|
|
||
|
|||
BLIK |
20.7.2016, 23:50;
Ответить: BLIK
Сообщение
#2
|
|
Тарасов Роман,Для wordpress robots стандарт
остальное закрывает по мере необходимости |
|
|
semarg
|
Сообщение
#3
|
|
BLIK_mw, у меня убран Disallow: /*?* почему-то закрывает все страницы и записи кроме главной.
И как-то интересно получается, что при проверке файла страница с тегами запрещена к индексации, а по факту индексируется. -------------------- |
|
|
BLIK |
21.7.2016, 0:42;
Ответить: BLIK
Сообщение
#4
|
|
почему-то закрывает все страницы и записи кроме главной. Настрой ЧПУ установи плагин и активируй Cyr-To-Lat В разделе настроек ссылки установи произвольно и поставь там код
Этот код будет в ссылке выводить название записи. Можно и по другому выводить но у меня так везде настроены ЧПУ Сообщение отредактировал BLIK - 21.7.2016, 0:43 |
|
|
TimurR |
21.7.2016, 1:30;
Ответить: TimurR
Сообщение
#5
|
|
Файл robots.txt не более чем набор рекомендаций для ПС (на этом форуме сказано это уже не раз). Индексировать и добавлять их в выдачу решается уже на стороне ПС. К слову, запрещенная для индексации страница, может проиндексирована и более того добавлена в выдачу, а в описании (в выдаче) будет написано, что страница закрыта в роботсе и т.д.
|
|
|
hammer8 |
21.7.2016, 1:40;
Ответить: hammer8
Сообщение
#6
|
|
К слову, запрещенная для индексации страница, может проиндексирована и более того добавлена в выдачу Да, роботс - это рекомендация для ПС, а не абсолютная данность, но ситуация с надписью "закрыто в роботсе" происходит при закрытии уже проиндексированных страниц. Для того чтобы убрать такие страницы нужно на них ставить тег ноуиндекс и ноуфоллов |
|
|
BLIK |
21.7.2016, 2:02;
Ответить: BLIK
Сообщение
#7
|
|
TimurR,hammer8, Речь о Яндексе, он хорошо понимает robots.txt в отличии от Google и я не видел чтоб Яндекс в выдачи писал
Описание недоступно из-за ограничений в файле robots.txt. Если конечно сайт не закрыт от индекса целиком и еще не выпал из индекса. А вот дорвейный Google не особо и прислушивается к правилам robots, хоть и помещает такие страницы в сопли и подписывает, но все же они попадаются. Но, в Яндексе закрытых страниц с надписью Описание недоступно из-за ограничений в файле robots.txt. я не видел. Именно не видел страниц, которые правильно закрыты в robots(то есть закрытые дубли у меня нет подобного) Можете дать ссылку на выдачу Яндекса, где есть помечены страницы в поиске? И у сайта в robots стоят правила о запрете на индекс этих страниц? |
|
|
hammer8 |
21.7.2016, 2:06;
Ответить: hammer8
Сообщение
#8
|
|
Яндекс такие страницы удаляет на основе robots.txt(поэтому их и нет) без дополнительных метатегов.
|
|
|
BLIK |
21.7.2016, 2:26;
Ответить: BLIK
Сообщение
#9
|
|
Яндекс такие страницы удаляет на основе robots.txt Ну так, а в этой теме ведь речь о Яндексе? В Яндексе хорошо понимает robots и с нужными правилами работает отлично, а рекомендации это только для дорвея Google. P.s Уточнил чтоб ТС не запутать лишними словами, так как он имел виду Яндекс. |
|
|
ShowPrint |
21.7.2016, 12:29;
Ответить: ShowPrint
Сообщение
#10
|
|
Тарасов Роман, Янд добавляет текстовый контент в выдачу с некоторой задержкой, возможно из-за этого появляются новые закрытые страницы в выдаче.
Удаляет закрытые роботсом Янд также неспешно, как и добавляет - по мере обхода. Возможно еще и "паузу берет": а не передумает ли овнер? чтоб потом заново не индексить... Я в аналогичных случаях сносил урлы ручками, через Я-сервис - в этом варианте он удаляет достаточно охотно и шустро... Описание недоступно из-за ограничений в файле robots.txt BLIK_mw, у меня такого рода описания наблюдались в Гугле...Кстати, Александр, помнишь темку в которой чел рекомендовал для Гугля не через robots.txt закрывать ранее проиндексированные страницы, а прописывать запрет через htaccess? Так вот у себя я это сделал и это помогло - почти всё из соплей вылетело... Не сразу, конечно, через какой-то промежуток времени, но почти (надо проверить) все эти сопли вытекли и "насморк прекратился" То есть если Яндекс всё-таки рассматривает robots.txt как некоторое действо к руководству, пусть не жёстко и не спеша, но по крайней мере "прислушивается" к нему, то для Гугля - это просто файл, не более того... :) |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Нужно ли закрывать ненужные страницы тегом noindex, follow? | 8 | noviktamw | 2834 | 2.3.2024, 12:53 автор: toplinks |
|
Вытащить страницы из кэша Яндекса | 2 | VostrVL | 1914 | 11.1.2024, 23:07 автор: ЛаврионСергеевич |
|
Сверстать страницы из figma нужно сделать страницы для веб приложения |
1 | bluestorm | 1285 | 7.6.2022, 18:11 автор: doharddocode |
|
Подобрать группы и страницы и разместить ссылку | 4 | Lacomka | 3389 | 21.2.2022, 8:43 автор: АлексейWEB |
|
Верстка и внедрение на сайт макета главной страницы Требуется: с Figma на Laravel |
2 | ARsHi | 1650 | 27.3.2021, 0:57 автор: Ogaelath |
Текстовая версия | Сейчас: 29.3.2024, 2:38 |