[X] Помощник

[Julianna_mw Topic Starter]

Здравствуйте! Уже какой месяц наблюдаю на Google Console несколько ошибок

1.  Проиндексировано, несмотря на блокировку в файле robots.txt (На сайте 816 страниц - ошибочных страниц 251. Попадают туда страницы из сайта, которые я запретила индексировать в SEO плагине и в robots.txt. Также, страницы в окончание ссылки которых /feed)


2. Страница, связанная с отправленным URL, содержит тег noindex (Попали рубрики, которые находятся в noindex)

Ошибка №2 только на одном моем сайте, а вот ошибка №1 во всех сайтах. Стоит ли, беспокоится? Или же это ошибка ботов гугла?

[Antoncheg87]

Стоит ли, беспокоится? Или же это ошибка ботов гугла?

Бывает и боты шалят.  :D

Лично я когда вношу всякие правки в плагин или файл robots.txt сразу же проверяю их в панели Вебмастера на возможность индексирования страницы.



Ещё как вариант проверить корректную работу и вывод 404-ошибки при вводе несуществующего URL-адреса.

Возможно роботы Google быстро шустрят сайт и могло случиться к примеру так: Вы открыли врата рая для краулера B) (документы для индексирования стали открыты паукам), однако он ещё не успел вовремя занести в реестр документы в свою базу. Робот пробежался, занес их (авансом), а вы тем временем только закончили вносить правки в корректный файл robots.txt. (это как один из вариантов).

Часто замечаю в своей работе, когда программист при тестировании основных проектов на поддоменах забывает поставить диррективу Disallow: /, обнаруживается неприятная петрушка = тонны страниц в индексе, и это при том что на сайте либо отсутствовал robots.txt либо не внесены диррективы.

Всякий шлак рекомендуется заранее закрывать (регистрация, корзина, политика конфиденциальности информации, utm-метки, авторы контента из учетной записи). Про страницы пагинации не буду писать т.к. здесь мнения могут разделиться и есть как плюсы от таких страниц и минусы на крупных проектах.

[albedo]

Totti, я темку тут создавал
https://www.masterwebs.ru/topic/32668-danni...aile-robotstxt/
если разбираетесь, можете помочь советом?

[Antoncheg87]

если разбираетесь, можете помочь советом?

 
Проверь тему, посылка ждет своего получателя  :D

[Julianna_mw Topic Starter]

Totti, Спасибо) Редактировала robot.txt на сайтах и отправила ошибки на проверку. 

[Lexa_mw]

Как вариант проверить корректную работу и вывод 404-ошибки при вводе несуществующего URL-адреса.

Возможно роботы Google быстро смотрят сайт и могло случиться к примеру так: Вы открыли врата рая для краулера  B) (документы для индексирования стали открыты паукам), однако он ещё не успел вовремя занести в реестр документы в свою базу. Робот пробежался, занес их (авансом), а вы тем временем только закончили вносить правки в корректный файл robots.txt. (это как один из вариантов).

Часто замечаю в своей работе, когда программист при тестировании основных проектов на поддоменах забывает поставить диррективу Disallow: /, обнаруживается неприятная петрушка = тонны страниц в индексе, и это при том что на сайте либо отсутствовал robots.txt либо не внесены диррективы.

Всякий шлак рекомендуется заранее закрывать (регистрация, корзина, политика конфиденциальности информации, utm-метки, авторы контента из учетной записи). Про страницы пагинации не буду писать т.к. здесь мнения могут разделиться и есть как плюсы от таких страниц и минусы на крупных проектах.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.