X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
> Проблема с robots.txt и индексацией
lena220678
lena220678
Topic Starter сообщение 12.7.2019, 23:02; Ответить: lena220678
Сообщение #1


Помогите, пожалуйста, решить проблему с индексацией сайта.

Моему сайту 4 года и раньше страницы индексировались нормально. Мой файл robots.txt имеет вид:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: elenachistyakova.ru

Sitemap: http://elenachistyakova.ru/sitemap.xml.gz
Sitemap: http://elenachistyakova.ru/sitemap.xml

Чуть больше месяца назад по необходимости поменяла тему сайта. С тех пор из индексации стали постепенно выпадать страницы (может со сменой темы это и не связано). Из примерно 50 осталось 20.

Провожу анализ robots.txt сервисом Яндекс Вебмастер и получаю такое сообщение:

 

1: User-agent: * Обнаружена неизвестная директива

2: Disallow: Перед правилом нет директивы User-agent


Как с этим бороться? Пожалуйста, подскажите.


Сообщение отредактировал BLIK - 12.7.2019, 23:25
Причина редактирования: вставил код
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 12.7.2019, 23:35; Ответить: BLIK
Сообщение #2


lena220678,На первый взгляд вижу ошибку в том, что сайт у вас открывается по httpS, но в robots стоят ссылки без S s протоколе  карты сайта, а так же в директиве Host нужно указывать полный url с протоколом, если сайт на https

Вот так

Host:https://elenachistyakova.ru 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artos_mw
Artos_mw
сообщение 13.7.2019, 2:34; Ответить: Artos_mw
Сообщение #3


Полагаю, что исправив первую ошибку, вторая сама пропадёт.
lena220678, случаем в строке User-agent: * не могла затесаться кирилическая буква "а" или непечатный знак?
Попробуйте перепечатать эту строку латиницей и убедитесь, что ни слева, ни справа, ни сверху нет непечатных знаков и, на всякий случай пробелов, и сохраните в правильной кодировке. Только редактировать НЕ Блокнотом от Виндовс.


Сообщение отредактировал Artos - 13.7.2019, 2:43
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rodiola
Rodiola
сообщение 13.7.2019, 9:17; Ответить: Rodiola
Сообщение #4


(Artos @ 13.7.2019, 05:34) *
Только редактировать НЕ Блокнотом от Виндовс.

Почему? А каким тогда?  
lena220678, Вопрос, может, немного не по теме. А у Вас контент на блоге с 2017 года не обновлялся или я что-то где-то не вижу? Может, еще в этом дело? Вроде поисковики такое не любят, им начинает казаться, что ресурс заброшен и никому уже не нужен и начинают выкидывать из индекса страницы. Не знаю, как вариант, попробуйте новый материал разместить и посмотрите, как и за какое время проиндексируется. С ошибкой понятно, что все равно что-то нужно делать, но с текущей индексацией надо смотреть. Мне так кажется.

Сообщение отредактировал Rodiola - 13.7.2019, 9:20
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Artos_mw
Artos_mw
сообщение 13.7.2019, 12:38; Ответить: Artos_mw
Сообщение #5


(Rodiola @ 13.7.2019, 12:17) *
Почему? А каким тогда?
Потому, что Блокнот при сохранении файла с кодировкой ютф-8 в самое начало файла вставляет невидимые символы, так называемый BOM.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Rodiola
Rodiola
сообщение 13.7.2019, 20:09; Ответить: Rodiola
Сообщение #6


Artos_mw,  а notepad++ подойдет для этих целей? Его вроде многие рекомендуют. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lena220678
lena220678
Topic Starter сообщение 13.7.2019, 22:13; Ответить: lena220678
Сообщение #7


BLIK_mw, внесла изменения в соответствии с Вашими рекомендациями и Яндекс Вебмастер перестал ругаться. Моя благодарность Вам не знает границ!
Только теперь я вспомнила, что вместе с установкой новой темы (зря на нее грешила), перешла на новый протокол. Внести же соответствующие изменения в robots.txt такому чайнику как я и в голову не пришло. А дальше, если я правильно понимаю, произошло следующее. Поисковый робот яндекса, обходя страницы моего сайта в соответствии со старым robots.txt, обнаруживал, что страница отсутствует и исключал ее из индексации. С этим и связана "потеря" 30 страниц за последний месяц. 
Если все так, то теперь, по мере обхода, Яндекс будет возвращать мои страницы в индексации уже по https протоколу и заменять еще не исключенные страницы с http на https. Мне же остается спокойно этого дожидаться. Я правильно мыслю? 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 13.7.2019, 22:18; Ответить: BLIK
Сообщение #8


lena220678,А вы в вебмастере добавили сайт с новым протоколом, переезд сделали? (возможно 30 страниц уже на новом протоколе и вы их не видите в вебмастере если новый сайт не добавлен).

Вот документация от Яндекса

https://yandex.ru/support/webmaster/yandex-...oving-site.html


P.s В google вебмастер достаточно добавить сайт с новым протоколом.


Сообщение отредактировал BLIK - 13.7.2019, 22:19
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lena220678
lena220678
Topic Starter сообщение 13.7.2019, 22:19; Ответить: lena220678
Сообщение #9


Artos_mwв строке User-agent: * ничего лишнего оказаться не могло, т.к. robots.txt прекрасно работал 4 года и я его ни разу не редактировала (с моими познаниями в этой области подобное вмешательство небезопасно  :) ). Проблема оказалась в переходе сайта с http на https, как верно указал мне BLIK. Но Вам все равно спасибо за участие.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
lena220678
lena220678
Topic Starter сообщение 13.7.2019, 22:38; Ответить: lena220678
Сообщение #10


BLIK_mw, сайт с новым протоколом добавила, права подтвердила, а про переезд впервые слышу.   :wacko: Кошмар, пойду документы изучать, для меня это китайская грамота
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78620 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Проблема с админкой
5 Prok 2315 29.7.2019, 20:04
автор: dvakarandasha
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7593 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПроблема с таблицей, которая выводится через скрипт
7 vanchester 1336 15.2.2019, 19:06
автор: Artos_mw
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыПроблема в тегах при сохранении контента
1 Kord18 1404 13.3.2018, 18:19
автор: Evgeniy3200


 



RSS Текстовая версия Сейчас: 29.3.2024, 11:33
Дизайн