Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Запрет на индексацию страниц сайта и отдельных частей контента

#11 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 709 сообщений
  • Репутация: 407
19

Отправлено 07 Апрель 2015 - 11:43

@Ixman, Объясните ламмеру, плз, какая разница между:

User-agent: *
Host: www.site.ru
Sitemap: [url="http://www.site.ru/sitemap.xml"]http://www.site.ru/sitemap.xml[/url]

и

User-agent: *
Host: www.site.ru
Sitemap: http://www.site.ru/sitemap.xml

Еще вопрос (бонусом), от того же ламмера (меня), относительно закрытия индексации страницы мета-тегом:

Данным способом можно закрывать только html документы

 

Правильно я понимаю, что если у меня страницы не html, а я их генерирую на выдачу при помощи php, то этот способ также должен работать? Подсознательно понимаю что "да", но начинается "ломка логики предпочтений": получается что если у меня скрипт php закрыт в robots.txt, то поисковый бот может не выполнять "лишних" действий по генерации страницы, для того чтоб узнать о том, что эту страницу индексировать не надо... То есть как бы логичнее боту сказать, в файле robots.txt, мол ты не трать время на генерацию этой страницы - ее все равно индексировать не надо...

 

Заранее спасибо!


Сообщение отредактировал ShowPrint: 07 Апрель 2015 - 12:14

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#12 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 07 Апрель 2015 - 17:33

1) Разница в том, что насколько мне известно, такого синтаксиса, как этот 
 
Sitemap: [url="http://www.site.ru/sitemap.xml"]http://www.site.ru/sitemap.xml[/url]
 
не может быть, по крайней мере я ни в одной из справок ранее такого не встречал. По существу это bbcode ссылки

2) Ну php скрипт как правило результат выводит в html документ, так что каким способом сгенерирован html не важно, а способ с мета тегом будет закрывать именно конечный html. И кто сказал, что бот гарантировано не будет индексировать, или правильнее сказать смотреть документы закрытые в robots.txt? Тот же Google уже как несколько лет, пару точно, игнорирует этот файл. Это первое. Теперь второе, насколько я понимаю ситуацию, все эти ограничения дают исключительно какие-либо указания к необходимому действию с документом, то есть либо не учитывать с него ссылки, либо не показывать его в выдаче, и т. п. Что он не будет загружен ботом никаких гарантий нет, что и на самом деле происходит.

Сообщение отредактировал Ixman: 07 Апрель 2015 - 17:43

  • 0

#13 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 709 сообщений
  • Репутация: 407

Отправлено 07 Апрель 2015 - 18:33

@Ixman, "такого синтаксиса, как этот" - сам впервые увидел... в Вашем топике... удивился/спросил... поправить бы надо...

 

"каким способом сгенерирован html не важно" - это понятно, но html сгенерированный php-скриптом фактически существует только в обозревателе у посетителя и памяти ботов... Логичнее (на мой взгляд) дать понять ботам что бесполезно генерировать страницу - "она не нужна" в индексе...То что боты эту страницу индексят - на здоровье, ничего не прячу, просто страница подписки бесполезная для индекса, и нечего ей там делать - мета-тегом лучше закрыть (на Ваш вкус)

 

Кстати, родился новый вопрос: а как поступать со скриптами админки, закрытыми паролями htaccess-а? Тоже пусть пытаются открыть и получают ответ о том, что страница "закрыта"? Отсутствие 200-ответа не будет ли отрицательно сказываться на репутации сайта в целом? И если страница закрыта паролем, то получается ее совершенно не обязательно закрывать от индексации мета-тегом?

 

П.С. Извиняюсь за "занудство" - врожденный педантизм, хочется разобраться полностью, чтоб не возвращаться к вопросу...


Сообщение отредактировал ShowPrint: 07 Апрель 2015 - 18:34

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#14 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 07 Апрель 2015 - 18:39

Топик да надо подправить, это походу косяк форума при редактировании поста, сам вставил наверное.

 

По поводу страницы закрытой паролем, ну даже не знаю, ну я лично в админку ставлю мета тег на запрет индекса.


А так вместо 200 ответа должен быть 403 и бот должен понимать что туда нельзя


  • 0

#15 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 709 сообщений
  • Репутация: 407

Отправлено 07 Апрель 2015 - 18:46

в админку ставлю мета тег на запрет индекса
На случай если бот запустит подбор паролей и обойдет 403? ;)

Или "береженого Бог бережет"?


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#16 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 07 Апрель 2015 - 19:02

@ShowPrint,  есть мнение, что браузер, например Google Chrome служит индексирующим инструментом. Закладки в Яндекс Браузере тоже положительно влияют на сайт, так что браузер по любому это инструмент для поисковиков

Да и не с проста же такое мнение, ведь в Google индекс попадали страницы закрытые авторизацией, точнее скажем контент. Закономерный вопрос как? Боты научились регистрироваться?


  • 0

#17 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 709 сообщений
  • Репутация: 407

Отправлено 07 Апрель 2015 - 19:08

@Ixman, скорее login-psw вытаскивать.... )))

Да конечно, браузером тоже можно пользоваться как инструментом... И достаточно просто...

В наше время стырить можно всё! И мы все "под колпаком"...

Ок, спасибо огромное, все понятно на данном этапе, появятся еще вопросы - спрошу, с Вашего позволения...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#18 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 07 Апрель 2015 - 19:10

@ShowPrint, конечно )) 


  • 0

#19 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 709 сообщений
  • Репутация: 407

Отправлено 25 Апрель 2015 - 22:00

конечно ))
@Ixman, Как в воду глядел - появились... =)

 

В админке прописал noindex, nofollow, но... "в потолке открылся люк"... В ЯВМ обнаружил запись относительно admin.php в "ошибках" со следующей формулировкой:

На запрос страницы роботу вернулся документ, не содержащий текста, доступного для индексирования

 

Понимаю что можно забить на это, но само наличие у меня "ошибок" как-то не радует (врожденный перфекционизм как следствие воспитания во времена "совка")...

Возникла мысль, что если закрыть от индексации на уровне заголовков посредством htaccess, то по идее "ошибка" не должна появляться, так?

 

И хелп, плиз: собираюсь сделать в htaccess следующую запись:

<IfModule mod_headers.c>
<FilesMatch "admin.php$">
    Header set X-Robots-Tag "noindex,nofollow"
</Files>
</IfModule>

Не уверен в том, что я правильно сформировал FilesMatch, т.к. разобраться с масками, применяемыми в htaccess и научиться их читать так и не смог... (((

Вопрос следующий: достаточно ли просто указать имя скрипта, или до него должна быть прописана какая-то маска?

 

Заранее признателен.


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#20 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 25 Апрель 2015 - 22:12

На запрос страницы роботу вернулся документ, не содержащий текста, доступного для индексирования
вообще странный ответ, можно трактовать по разному. Яшко он дурной всегда был  :D По поводу почему Яшка пытается съесть страницу затрудняюсь ответить, возможно что-то не так он видит. У меня таких проблем не возникало ни разу.

 

По поводу сниппета для htaccess, если не ошибаюсь, то FilesMatch - это для групп файлов, а для конкретного файла правильнее использовать Files. Но на 100% не утверждаю, сам бы методом тыка определил какой из этих двух вариантов рабочий или вообще оба не рабочие 

<IfModule mod_headers.c>
<Files admin.php>
    Header set X-Robots-Tag "noindex,nofollow"
</Files>
</IfModule>

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru