Перейти к содержимому



Проблема с robots.txt и индексацией

#1 lena220678
lena220678
  • Пользователь
  • 103 сообщений
  • Репутация: 3
0

Отправлено 12 Июль 2019 - 22:02

Помогите, пожалуйста, решить проблему с индексацией сайта.

 

Моему сайту 4 года и раньше страницы индексировались нормально. Мой файл robots.txt имеет вид:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /?s=
Host: elenachistyakova.ru
Sitemap: http://elenachistyakova.ru/sitemap.xml.gz
Sitemap: http://elenachistyakova.ru/sitemap.xml

Чуть больше месяца назад по необходимости поменяла тему сайта. С тех пор из индексации стали постепенно выпадать страницы (может со сменой темы это и не связано). Из примерно 50 осталось 20.

Провожу анализ robots.txt сервисом Яндекс Вебмастер и получаю такое сообщение:
 
1: User-agent: * Обнаружена неизвестная директива
2: Disallow: Перед правилом нет директивы User-agent

 

Как с этим бороться? Пожалуйста, подскажите.


 

 

Сообщение отредактировал BLIK: 12 Июль 2019 - 22:25
вставил код

  • 0

#2 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 12 Июль 2019 - 22:35

@lena220678,На первый взгляд вижу ошибку в том, что сайт у вас открывается по httpS, но в robots стоят ссылки без S s протоколе  карты сайта, а так же в директиве Host нужно указывать полный url с протоколом, если сайт на https

 

Вот так

Host:https://elenachistyakova.ru 

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Artos
Artos
  • Пользователь
  • 105 сообщений
  • Репутация: 12

Отправлено 13 Июль 2019 - 01:34

Полагаю, что исправив первую ошибку, вторая сама пропадёт.

@lena220678, случаем в строке User-agent: * не могла затесаться кирилическая буква "а" или непечатный знак?

Попробуйте перепечатать эту строку латиницей и убедитесь, что ни слева, ни справа, ни сверху нет непечатных знаков и, на всякий случай пробелов, и сохраните в правильной кодировке. Только редактировать НЕ Блокнотом от Виндовс.


Сообщение отредактировал Artos: 13 Июль 2019 - 01:43

  • 0

#4 Rodiola
Rodiola
  • Пользователь
  • 523 сообщений
  • Репутация: 40

Отправлено 13 Июль 2019 - 08:17

Только редактировать НЕ Блокнотом от Виндовс.

Почему? А каким тогда?  

@lena220678, Вопрос, может, немного не по теме. А у Вас контент на блоге с 2017 года не обновлялся или я что-то где-то не вижу? Может, еще в этом дело? Вроде поисковики такое не любят, им начинает казаться, что ресурс заброшен и никому уже не нужен и начинают выкидывать из индекса страницы. Не знаю, как вариант, попробуйте новый материал разместить и посмотрите, как и за какое время проиндексируется. С ошибкой понятно, что все равно что-то нужно делать, но с текущей индексацией надо смотреть. Мне так кажется.


Сообщение отредактировал Rodiola: 13 Июль 2019 - 08:20

  • 0


#5 Artos
Artos
  • Пользователь
  • 105 сообщений
  • Репутация: 12

Отправлено 13 Июль 2019 - 11:38

Почему? А каким тогда?
Потому, что Блокнот при сохранении файла с кодировкой ютф-8 в самое начало файла вставляет невидимые символы, так называемый BOM.
  • 0

#6 Rodiola
Rodiola
  • Пользователь
  • 523 сообщений
  • Репутация: 40

Отправлено 13 Июль 2019 - 19:09

@Artos,  а notepad++ подойдет для этих целей? Его вроде многие рекомендуют. 


  • 0


#7 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 13 Июль 2019 - 21:13

@BLIK, внесла изменения в соответствии с Вашими рекомендациями и Яндекс Вебмастер перестал ругаться. Моя благодарность Вам не знает границ!

Только теперь я вспомнила, что вместе с установкой новой темы (зря на нее грешила), перешла на новый протокол. Внести же соответствующие изменения в robots.txt такому чайнику как я и в голову не пришло. А дальше, если я правильно понимаю, произошло следующее. Поисковый робот яндекса, обходя страницы моего сайта в соответствии со старым robots.txt, обнаруживал, что страница отсутствует и исключал ее из индексации. С этим и связана "потеря" 30 страниц за последний месяц. 

Если все так, то теперь, по мере обхода, Яндекс будет возвращать мои страницы в индексации уже по https протоколу и заменять еще не исключенные страницы с http на https. Мне же остается спокойно этого дожидаться. Я правильно мыслю? 


  • 0

#8 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 13 Июль 2019 - 21:18

@lena220678,А вы в вебмастере добавили сайт с новым протоколом, переезд сделали? (возможно 30 страниц уже на новом протоколе и вы их не видите в вебмастере если новый сайт не добавлен).

 

Вот документация от Яндекса

 

https://yandex.ru/su...oving-site.html

 

 

P.s В google вебмастер достаточно добавить сайт с новым протоколом.


Сообщение отредактировал BLIK: 13 Июль 2019 - 21:19

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#9 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 13 Июль 2019 - 21:19

@Artosв строке User-agent: * ничего лишнего оказаться не могло, т.к. robots.txt прекрасно работал 4 года и я его ни разу не редактировала (с моими познаниями в этой области подобное вмешательство небезопасно  :) ). Проблема оказалась в переходе сайта с http на https, как верно указал мне BLIK. Но Вам все равно спасибо за участие.


  • 0

#10 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 13 Июль 2019 - 21:38

@BLIK, сайт с новым протоколом добавила, права подтвердила, а про переезд впервые слышу.   :wacko: Кошмар, пойду документы изучать, для меня это китайская грамота


  • 0

#11 Artos
Artos
  • Пользователь
  • 105 сообщений
  • Репутация: 12

Отправлено 13 Июль 2019 - 23:42

notepad++ подойдет для этих целей
Подойдёт не только notepad++, но и много других редакторов имеют возможность сохранять в utf-8 без скрытой метки. А не подходит ещё WordPad Виндовса и, возможно, что в Ворде из Офиса тоже нет возможности отключить вставку скрытых меток.
  • 0

#12 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 14 Июль 2019 - 16:59

@BLIK, переезд у меня, видимо, уже состоялся и совершил его мой хостинг провайдер. Если я открываю вкладку "переезд сайта", то получаю такую картинку

@Rodiola, у меня, действительно, давно нет абсолютно новых статей, но идет активная переработка старых. Если бы дело было в контенте, яндекс "охладевал" бы ко мне постепенно. Но полтора месяца назад с индексацией был порядок, а за последний месяц страницы посыпались с бешеной скоростью. Так что, очевидно, проблема возникла внезапно, а не тянется в течении двух лет.

Прикрепленные изображения

  • переезд.png

  • 0

#13 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 14 Июль 2019 - 17:08

переезд у меня, видимо, уже состоялся и совершил его мой хостинг провайдер
Хостинг не может сделать переезд если вы не давали ему доступы от Яндекс вебмастера(думаю вы не давали, так как такие данные обычно не дают третьей стороне).

 

Вы когда добавили новый сайт с httpS права подтвердили на сайт (файлик от сайта с https в корень загружали, как и с первым сайтом).

 

Если не подтверждали, то, нужно открывать(выбрать и открыть) сайт с https в вебмастере, который добавили и подтвердить этот сайт, загрузив файлик в корень и подтвердить.

 

После подтверждения прав на сайт с https уже сделать переезд.

@lena220678, И у вас на скрине выбран сайт с https, а переезд нужно делать с сайта, который БЕЗ httpS

@lena220678, Зайти в сайт без https и там уже делать переезд добавив https и тогда склейка должна произойти (если не ошибаюсь)


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#14 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 14 Июль 2019 - 20:49

Права на сайт с https у меня подтверждены.

 

В яндекс помощь, раздел "переезд сайта" читаю:

 

"Иногда нужно перевезти сайт на новый домен, с домена с префиксом www на домен без него или сменить протокол с HTTP на HTTPS. Робот Яндекса воспринимает все эти случаи как разные сайты. Поэтому переезд сводится к объединению старого и нового адресов сайта в группу зеркал.

Чтобы в результатах поиска участвовал новый адрес, робот должен определить его главным зеркалом старого домена". 

Смотрю у себя и вижу такую картинку. Выходит у меня сайт с https уже является главным зеркалом? 

 

Прикрепленные изображения

  • главное зеркало.png

  • 0

#15 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 14 Июль 2019 - 20:54

@lena220678,Ну вы откройте сайт(вверху выберете) в вебмастере который БЕЗ https и зайдите в раздел переезд сайта и поставьте галочку https и сохранить. В документации на которую я давал ссылку, там имеется скриншот пример и выбран сайт БЕЗ https (посмотрите верх скрина в документации по переезду, а в вашем скрине у вас выбран сайт с https)


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#16 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 14 Июль 2019 - 21:10

У меня там нет сайта без https (см. скрин). Если нажать "все сайты" откроется такая картинка (второй скнин)

Прикрепленные изображения

  • 1.png
  • 2.png

  • 0

#17 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 14 Июль 2019 - 21:18

@lena220678,Ну я не знаю, а точнее уже не понимаю, у вас ранее сайта там не было( в вебмастере со старым протоколом). Если не было, то как узнали об ошибках, а если был, куда он делся после добавления нового сайта с https.

 

Если вы изначально в вебмастер добавили только этот сайт с новым протоколом, и ранее другого сайта БЕЗ https не было, то оставляйте как есть, я думаю проблем не будет.

 

С другой стороны точно не знаю нужна ли в таком случае склейка в вебмастере если старого сайта там не было и достаточно добавления нового сайта с новым протоколом и Яндекс сам все поймет и переклеит.


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#18 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 14 Июль 2019 - 21:38

Раньше сайт был (честно-честно :) ). Находит же робот яндекса страницу без https (см. скрин) Но куда он подевался не знаю :wacko:. Видимо, остается надеяться, что все наладится. 

Прикрепленные изображения

  • 3.png

  • 0

#19 BLIK
BLIK
  • Супермодератор
  • 4 498 сообщений
  • Репутация: 1020

Отправлено 14 Июль 2019 - 21:57

@lena220678, На скрине он правильно показывает, а точнее 301 редирект, то есть со старого протокола на новый стоит редирект, так и должно быть.

 

А вот куда у вас делся сайт со старым протоколом вам виднее, Конечно, по уму бы сделать на старом сайте переезд на новый в вебмастере, но у вас его почему там нет.(надеюсь вы не перепутали кабинетов вебмастеров и не получится так, что старый сайт на другом аккаунте в вебмастере). 


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#20 lena220678
lena220678
    Topic Starter
  • Пользователь
  • 103 сообщений
  • Репутация: 3

Отправлено 14 Июль 2019 - 22:07

(надеюсь вы не перепутали кабинетов вебмастеров и не получится так, что старый сайт на другом аккаунте в вебмастере). 
 А как это можно проверить? 
  • 0

robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

× Быстрый вопрос
Пользователь месяца
Rodiola Rodiola 1-й за Август
Очков активности: 1 552 3 темы, 106 сообщений, 9 баллов репутации
Сайт: rukodelkovo.ru
ТОП самых активных за этот месяц
  • Фотография MattCutts
    #1

    MattCutts (dmitrylee.ru)
    Очков активности: 480 5 тем, 65 сообщений, 4 балла репутации

  • Фотография Андрей WPM
    #2

    Андрей WPM (wpmaster.kz)
    Очков активности: 430.5 Вне конкурса за определение пользователя месяца

  • Фотография lena220678
    #3

    lena220678
    Очков активности: 33 1 тема, 19 сообщений, 1 балл репутации

  • Фотография Chaser
    #4

    Chaser (majento.ru)
    Очков активности: 33 1 тема, 8 сообщений, 2 балла репутации

  • Фотография BLIK
    #5

    BLIK
    Очков активности: 27 0 тем, 18 сообщений, 1 балл репутации

  • Фотография maxnik
    #6

    maxnik (konovalovpavel.ru)
    Очков активности: 24 0 тем, 8 сообщений, 2 балла репутации

  • Фотография Rodiola
    #7

    Rodiola (rukodelkovo.ru)
    Очков активности: 22.5 Вне конкурса за определение пользователя месяца

  • Фотография Constantine
    #8

    Constantine (constantine.video.blog)
    Очков активности: 19.5 2 темы, 7 сообщений, 1 балл репутации

  • Фотография Megoydagi
    #9

    Megoydagi (24ho.ru)
    Очков активности: 16.5 1 тема, 8 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #10

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 15 0 тем, 10 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 27.08.2019
  • Яндекс выдача: 17.09.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru