Перейти к содержимому



Sitemap.xml в индексе, это нормально?

#11 ShowPrint

ShowPrint
    Topic Starter
  • Пользователь PRO
  • 2 903 сообщений
  • Репутация: 770
0

Отправлено 11 Август 2015 - 20:59

@BLIK, Кммм... Логично вроде... Но у меня вроде ничего не мешает в таких случаях отдавать 404 - единственный плагин имеющий место быть на сайте это lightbox jQuery, все остальное "ручками-кодом"...

 

Значит и с этим предстоит разбираться...  :(

 

Нет под рукой где покурить можно эту тему? Или хотя бы "что" курить? (как эта ситуация правильно называется?)

Неужто опять придется в htaccess лезть...  :( А значит опять за рецептом к "доктору Ивану" обращаться - моему пониманию никак не поддаются hta-шные регулярки... (((


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#12 BLIK

BLIK
  • Супермодератор
  • 4 020 сообщений
  • Репутация: 890

Отправлено 11 Август 2015 - 21:12

Нет под рукой где покурить можно эту тему?

 

 

Не могу даже сказать где найти информацию на эту тему.

 

Я сам то чисто случайно увидел в вебмастере Яндекса такие ссылки(кстати только Яндекс их проиндексировал, Google их не видел)

 

И получается что Яндекс такие url взял в выдачу и если на них кликнуть, то, попадали на ошибку(хотя должна была быть 404) которая выводилась в браузере.

 

Но, когда убрал вывод ошибок и исправил такой "косяк" и вместо ошибки по такому url отдавалась 404, Яндекс выплюнул такие ссылки(ну я руками ему тоже помог через вебмастер, удалить url)

 

P.s Может так и должно быть у тебя? И ничего страшного нет и не будет? Все отдает как надо..и не стоит морочиться)


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#13 ShowPrint

ShowPrint
    Topic Starter
  • Пользователь PRO
  • 2 903 сообщений
  • Репутация: 770

Отправлено 11 Август 2015 - 21:27

Ну пока морочиться и не буду - нет времени, а индекс у меня и в Я и в Г - девственный, там таких ссылок никогда и не наблюдалось никогда... Если честно, то никогда и не думал над тем что в таких случаях должна 404 отдаваться, возможно потому что никогда не встречался и не наблюдал...

 

Посему пусть пока так живет: возникнет проблема - буду решать (пока даже не понимаю с какого боку подойти)... Как мне в детстве говорил дед в гараже: "не лезь в машину, и особенно в движок, пока все работает как часы"... =)

 

Эх, дырку в небе надо мной: единственно возможный конфликт по причине чего не отдается 404 - это у меня с моей головой...  :huh:


  • 1
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#14 Matysh

Matysh
  • Пользователь
  • 3 сообщений
  • Репутация: 2

Отправлено 13 Июнь 2018 - 08:08

Топик конечно старый, но легко гуглится, поэтому напишу решение:

<FilesMatch "^sitemap.xml">
Header set X-Robots-Tag "noindex"
</FilesMatch>

в htaccess. Аналогично для robots.txt.

 

После этого отправить на переобход в search console (Посмотреть как Googlebot + отправить на индексирование) и вуаля - через пару дней исчезает из индекса.


  • 1

#15 Sosnovskij

Sosnovskij
  • Администратор
  • 4 583 сообщений
  • Репутация: 690

Отправлено 18 Июнь 2018 - 11:21

@Matysh, а как с чтением таких документов? Или в таком случае ПС читает, понимает файлы, но в индекс не добавляет?


  • 0

:excl: Требуется ЛинкБилдер (создание ссылочной массы, 1200-1600 руб в сутки). Блог — http://sosnovskij.ru/.



#16 ShowPrint

ShowPrint
    Topic Starter
  • Пользователь PRO
  • 2 903 сообщений
  • Репутация: 770

Отправлено 18 Июнь 2018 - 11:42

Или в таком случае ПС читает, понимает файлы, но в индекс не добавляет?
Серёж, я думаю что так и есть, если провести параллель с тегом noindex - боты прекрасно видят этот текст, но не учитывают в выдаче/ранжировании.

То есть просто noindex (=noindex,follow) позволяет читать содержимое страницы и переходить по ссылкам.

Собственно это как бы случай когда закрывается от индексации категория - бот всё равно её читает, переходит к статьям, но саму категорию в индекс (выдачу) не включает.

 

Если нужен 100% верный ответ на этот вопрос, то это к Платонам )))


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#17 Matysh

Matysh
  • Пользователь
  • 3 сообщений
  • Репутация: 2

Отправлено 18 Июнь 2018 - 11:45

@Matysh, а как с чтением таких документов? Или в таком случае ПС читает, понимает файлы, но в индекс не добавляет?
 

Читают, понимают, все ок и у яши и у гугла, проверено. А вот если в robots заблокировать - тогда начнут ругаться.


  • 1

#18 Sosnovskij

Sosnovskij
  • Администратор
  • 4 583 сообщений
  • Репутация: 690

Отправлено 18 Июнь 2018 - 11:51

@Matysh, познавательно, спасибо, не знал. :)


  • 0

:excl: Требуется ЛинкБилдер (создание ссылочной массы, 1200-1600 руб в сутки). Блог — http://sosnovskij.ru/.



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85

Оформление форума – IPBSkins.ru