X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Почему индексируются закрытые страницы
semarg
semarg
Topic Starter сообщение 20.7.2016, 23:40; Ответить: semarg
Сообщение #1


На днях закрыл в файле robots.txt от индексации страницы с /?tag, они являются дублирующими.

Сегодня после АПа посмотрел, не только бывшие там страницы остались, но и прибавилась новая.

При этом проверка файла показывает, что эти страницы запрещены к индексации.

Что за ерунда? Кто сталкивался, и что с этим делать? И нужно ли заморачиваться?


--------------------
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 20.7.2016, 23:50; Ответить: BLIK
Сообщение #2


Тарасов Роман,Для wordpress robots стандарт

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com

Sitemap: http://sait.com/sitemap.xml 

остальное закрывает по мере необходимости

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
semarg
semarg
Topic Starter сообщение 21.7.2016, 0:39; Ответить: semarg
Сообщение #3


BLIK_mw, у меня  убран Disallow: /*?* почему-то закрывает все страницы и записи кроме главной.

И как-то интересно получается, что при проверке файла страница с тегами запрещена к индексации, а по факту индексируется.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 21.7.2016, 0:42; Ответить: BLIK
Сообщение #4


(Тарасов Роман @ 21.7.2016, 02:39) *
почему-то закрывает все страницы и записи кроме главной.  

Настрой ЧПУ установи плагин и активируй Cyr-To-Lat

В разделе настроек ссылки установи произвольно и поставь там код

/%postname%.html 

Этот код будет в ссылке выводить название записи. Можно и по другому выводить но у меня так везде настроены ЧПУ


Сообщение отредактировал BLIK - 21.7.2016, 0:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
TimurR
TimurR
сообщение 21.7.2016, 1:30; Ответить: TimurR
Сообщение #5


Файл robots.txt не более чем набор рекомендаций для ПС (на этом форуме сказано это уже не раз). Индексировать и добавлять их в выдачу решается уже на стороне ПС. К слову, запрещенная для индексации страница, может проиндексирована и более того добавлена в выдачу, а в описании (в выдаче) будет написано, что страница закрыта в роботсе и т.д.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hammer8
hammer8
сообщение 21.7.2016, 1:40; Ответить: hammer8
Сообщение #6


(TimurR @ 21.7.2016, 03:30) *
К слову, запрещенная для индексации страница, может проиндексирована и более того добавлена в выдачу


Да, роботс - это рекомендация для ПС, а не абсолютная данность, но ситуация с надписью "закрыто в роботсе" происходит при закрытии уже проиндексированных страниц. Для того чтобы убрать такие страницы нужно на них ставить тег ноуиндекс и ноуфоллов 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 21.7.2016, 2:02; Ответить: BLIK
Сообщение #7


TimurR,hammer8,  Речь о Яндексе, он хорошо понимает robots.txt в отличии от Google и я не видел чтоб Яндекс в выдачи писал 
Описание недоступно из-за ограничений в файле robots.txt.


Если конечно сайт не закрыт от индекса целиком и еще не выпал из индекса.

А вот дорвейный Google не особо и прислушивается к правилам robots, хоть и помещает такие страницы в сопли и подписывает, но все же они попадаются.

Но, в Яндексе закрытых страниц с надписью
Описание недоступно из-за ограничений в файле robots.txt.

я не видел.

Именно не видел страниц, которые правильно закрыты в robots(то есть закрытые дубли у меня нет подобного)

Можете дать ссылку на выдачу Яндекса, где есть помечены страницы в поиске? И у сайта в robots стоят правила о запрете на индекс этих страниц?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
hammer8
hammer8
сообщение 21.7.2016, 2:06; Ответить: hammer8
Сообщение #8


Яндекс такие страницы удаляет на основе robots.txt(поэтому их и нет) без дополнительных метатегов. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 21.7.2016, 2:26; Ответить: BLIK
Сообщение #9


( @ 21.7.2016, 04:06) *
Яндекс такие страницы удаляет на основе robots.txt

Ну так, а в этой теме ведь речь о Яндексе? 

В Яндексе хорошо понимает robots и с нужными правилами работает отлично, а рекомендации это только для дорвея Google.

P.s Уточнил чтоб ТС не запутать лишними словами, так как он имел виду Яндекс.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 21.7.2016, 12:29; Ответить: ShowPrint
Сообщение #10


Тарасов Роман, Янд добавляет текстовый контент в выдачу с некоторой задержкой, возможно из-за этого появляются новые закрытые страницы в выдаче.
Удаляет закрытые роботсом Янд также неспешно, как и добавляет - по мере обхода. Возможно еще и "паузу берет": а не передумает ли овнер? чтоб потом заново не индексить...
Я в аналогичных случаях сносил урлы ручками, через Я-сервис - в этом варианте он удаляет достаточно охотно и шустро...

(BLIK @ 21.7.2016, 04:02) *
Описание недоступно из-за ограничений в файле robots.txt
BLIK_mw, у меня такого рода описания наблюдались в Гугле...
Кстати, Александр, помнишь темку в которой чел рекомендовал для Гугля не через robots.txt закрывать ранее проиндексированные страницы, а прописывать запрет через htaccess? Так вот у себя я это сделал и это помогло - почти всё из соплей вылетело... Не сразу, конечно, через какой-то промежуток времени, но почти (надо проверить) все эти сопли вытекли и "насморк прекратился"

То есть если Яндекс всё-таки рассматривает robots.txt как некоторое действо к руководству, пусть не жёстко и не спеша, но по крайней мере "прислушивается" к нему, то для Гугля - это просто файл, не более того...  :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Нужно ли закрывать ненужные страницы тегом noindex, follow?
8 noviktamw 2834 2.3.2024, 12:53
автор: toplinks
Открытая тема (нет новых ответов) Вытащить страницы из кэша Яндекса
2 VostrVL 1914 11.1.2024, 23:07
автор: ЛаврионСергеевич
Открытая тема (нет новых ответов) Сверстать страницы из figma
нужно сделать страницы для веб приложения
1 bluestorm 1285 7.6.2022, 18:11
автор: doharddocode
Открытая тема (нет новых ответов) Подобрать группы и страницы и разместить ссылку
4 Lacomka 3389 21.2.2022, 8:43
автор: АлексейWEB
Открытая тема (нет новых ответов) Верстка и внедрение на сайт макета главной страницы
Требуется: с Figma на Laravel
2 ARsHi 1650 27.3.2021, 0:57
автор: Ogaelath


 



RSS Текстовая версия Сейчас: 29.3.2024, 2:38
Дизайн