Перейти к содержимому


Партнерская программа Kredov

Запрет на индексацию страниц сайта и отдельных частей контента

#21 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410
19

Отправлено 25 Апрель 2015 - 22:22

методом тыка
 Имеется в виду проставить и подождать обновления информации в ЯВМ?

Относительно характеристики Якова - полностью согласен, но (к сожалению) с ним приходится считаться, т.к. около 85% клиентов реально приносящих деньги, именно его пациенты...  <_<


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#22 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410

Отправлено 26 Апрель 2015 - 01:55

Хммм... Отчитываюсь об изысканиях... Результат непонятный...

 

Поставил в htaccess

<IfModule mod_headers.c>
<Files admin.php>
    Header set X-Robots-Tag "noindex,nofollow"
</Files>
</IfModule>

после чего проверил ответ сервера Я-сервисом В заголовках совсем не увидел X-Robots-Tag, но сервер выдал содержимое страницы: 

<html><head><script>function set_cookie(){var now = new Date();var time = now.getTime();time += 19360000 * 1000;now.setTime(time);document.cookie='beget=begetok'+'; expires='+now.toGMTString()+'; path=/';}set_cookie();location.reload();;</script></head><body></body></html>

 

Решил попробовать другие on-line сервисы проверки ответов сервера - ни в одном из десятка Я-топ также не обнаружил X-Robots-Tag - может я что-то не так проверяю?

Почитал в инете и наткнулся на замечание что Я не поддерживает этот заголовок, поскольку статья была древняя сообразил выдачу то запросу X-Robots-Tag Yandex и на каком-то форуме прочел, что вроде весной прошлого года Яков наконец стал его использовать, но как проверить, так и не понимаю...

 

Пользуясь моментом что залез в htaccess решил закрыть от индексации некоторые типы файлов - давно хотел, всё времени не хватало. Но и здесь обнаружились непонятки (*да что же за день такой*). Пробовал 3 варианта:

1.
<Files "\.doc$">
  Header set X-Robots-Tag "noindex"
</Files>


2.
<Files "\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">
Header set X-Robots-Tag "noindex"
</Files>


3.
<FilesMatch "\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">
 Header set X-Robots-Tag "noindex"
</Files>

Результаты:

1. Правильный - всё проходит, проверить не смог
2. Не правильный - но проходит, проверить не смог
3. Правильный - возвращает 500!!!
 
Позвонил в саппорт, попросил открыть, объяснил ситуацию и задал ворос: что за "ня", в чем я чудак(м). Саппорт пощелкал клаву (а может еще чем-нить) и выдал ответ: "хз, пишите тикет"...
 
Еще раз посетовал на непонятный день, после чего, с помощью BLIK выяснилось что это ДЕНЬ РОЖДЕНИЯ IXMAN!!!
Мои искренние поздравления и пожелания всего лучшего&&светлого&&пушистого&&теплого (за исключением водки)
Пойду накачу за Ваше здоровье, напишу тикет и спать...

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#23 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 438

Отправлено 26 Апрель 2015 - 09:54

@ShowPrint, методом тыка это запись в htaccess определённых правил и затем самому смотреть, что отдаёт в заголовках файл admin.php, ну а потом уже можно и сервисы подключить. 
 
3 вариант отдаёт 500 ошибка так как там закралась ошибка
 
<FilesMatch"\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">
Header set X-Robots-Tag "noindex"
</Files> а должно быть </FilesMatch>
 
 
Знаю, знаю это ошибка из моего поста, но поправить я его не могу

 

Чуток позже, для себя, попробую посмотреть какие заголовки отдаются при использовании тех или иных правил в htaccess

 

 

:)  огромнейшее спасибо за поздравления, водку и другой алкоголь я вообще не употребляю даже в день своего рождения ))


  • 1

#24 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 438

Отправлено 26 Апрель 2015 - 10:32

@ShowPrint, вот таким вот правилом

<Files index.php>
Header set X-Robots-Tag "noindex"
</Files> 

 нормально выводит заголовки

 

5XIrihoh.png

 

5XIrihoj.png

Кстати вот такой вот сниппет на панели закладок в браузере выводит заголовки, если удастся его отсюда перетащить на панель, то будет работать )

javascript:(function(){function read(url){var r=new XMLHttpRequest();r.open('HEAD',url,false);r.send(null);return r.getAllResponseHeaders();}alert(read(window.location))})();

Да просто нужно выделить код и перетащить, а потом просто переименовать его )


  • 0

#25 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410

Отправлено 26 Апрель 2015 - 10:47

закралась ошибка

 и правда... не сообразил попробовать html-вариант...

Ну тогда поправляйте топик - я у Вас "содрал", кстати в других местах, когда читал инет, тоже встречал именно так... :D

Когда сейчас нацеленно стал искать не X-Rorobs-Tag, а FilesMatch - да, html-правило "тег открыл - тег закрыл"...

 

А с помощью чего заголовки просматриваете? Я сколько не пересмотрел on-line сервисов - ни один мне не показал X-Robots-Tag... Ни для admin.php, ни для .doc и  .pdf  :wacko:

 

<offtop>я тоже не особый любитель, больше люблю свободу передвижения на авто - но 50 гр хорошего коньячка на ночь можно, а если это еще за Ваше здоровье, то это еще и приятно B) </offtop>

 

П.С. За сниппет спасибо, admin.php - проверил, а вот *.pdf - нет... )))

П.П.С. Либо Яшко действительно не учитывает X-Robots-Tags, либо это его придурь - какого фига html-тогда генерит  :angry:


Сообщение отредактировал ShowPrint: 26 Апрель 2015 - 11:00

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#26 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 438

Отправлено 26 Апрель 2015 - 11:35

@ShowPrint, браузер Google Chrome (есть аналогии и в других браузерах)  -> клик правой кнопки мыши по странице -> просмотр кода элемента страницы. либо эти пункты меняет (Ctrl + Shift + i) -> в открывшемся окне верхнее меню вкладка Network -> далее в списке файлов выбираем тот, у которого будем смотреть заголовки

 

5XIrihok.png

 

Далее видим вот такую картину со всеми заголовками

 

5XIrihol.png

 

 

Вообще для разработки сайтов это мощнейший инструмент, стоит на него обратить внимание

P.S. Да и ещё, чтобы информация отобразилась страницу нужно загружать с уже открытым инструментом

а вот *.pdf - нет... )))
его можно открыть браузером и аналогично посмотреть заголовки 
  • 0

#27 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410

Отправлено 26 Апрель 2015 - 22:14

для разработки сайтов это мощнейший инструмент

  Отдельное спасибо за то, что познакомили с ним, действительно мощный - буду изучать и разбираться...

В admin.php обнаружил наличие X-Robots-Tag, а в pdf - нет (((

Но причину этого объяснил хостинг-саппорт: 

статика отдается nginx, который не читает .htaccess, поэтому эти директивы ничего не делают. Как вариант могу предложить вам отдачу статики апачем, но повысится нагрузка при отдаче таких файлов

Поскольку (по моей оценке) основные посетители моей статики это боты ПС, а юзвери их если и открывают/качают, то один-два файла в месяц, и это не должно сильно сказаться на нагрузке сервера, то попросил настроить отдачу через апач.

 

Могут-ли из-за этого возникнуть какие-нибудь другие "подводные камни", или бояться нечего?

 

Кстати, тот же саппорт сообщил о возможности использования следующего формата записи: 

<Files ~ "\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">

Задал им вопрос "как все-таки правильно будет сделать?"

(просто делюсь информацией)


Сообщение отредактировал ShowPrint: 26 Апрель 2015 - 22:14

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#28 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 165 сообщений
  • Репутация: 438

Отправлено 26 Апрель 2015 - 22:24

Могут-ли из-за этого возникнуть какие-нибудь другие "подводные камни", или бояться нечего?

 

Всё зависит от тарифного плана хостинга, точнее от тех лимитов, которые предоставлены на один аккаунт. Проявиться может как зависание сервера или ещё какие-нибудь висы на сайте, типа как огромное время генерации страниц и т.п

 

А за инфу спасибо ;)  такие мелочи всегда полезны 


Кстати теперь я понимаю почему у меня на VDSке с nginx не выводятся заголовки на png файлы, наверное надо конфинги править


  • 0

#29 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410

Отправлено 26 Апрель 2015 - 22:51

Проявиться может как зависание сервера или ещё какие-нибудь висы на сайте
 Будем надеяться что пока мне это не грозит - beget с тарифом "блог", разрешенная нагрузка 65ср.

За последний месяц день с максимальной загрузкой составил 0.34ср, суточный траф чуть меньше 100 уников и 200 страниц - с этим мне при всем желании сервак не подвесить... )))))

В конце-концов сделать обратный бэкап всегда можно... )))))


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#30 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 730 сообщений
  • Репутация: 410

Отправлено 26 Апрель 2015 - 23:17

О Files и FilesMatch cаппорт ответил: 

Правильно и так, и так.

Решил перевести пока на апач и понаблюдать за статистикой. "Подводными камнями" для моего тарифного плана будет то, что через апач пойдут и все картинки в дизайне сайта (надо проверить время кэширования), то есть "или всё, или ничего"... Индивидуальная настройка - другой сервер, другой тариф, другие деньги... Не готов пока, 1000руб/год очень нра... На крайняк верну обратно в robots.txt... =)


Сообщение отредактировал ShowPrint: 26 Апрель 2015 - 23:17

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru