Перейти к содержимому

Сервис обмена электронных валют

Выбрать шаблон и создать сайт

Запрет на индексацию страниц сайта и отдельных частей контента

#31 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432
19

Отправлено 27 Апрель 2015 - 22:22

@ShowPrint, обрати внимание на бота mail.ru - этот зверюга, за очень короткое время, может открыть до 20к страниц. У меня были проблемы когда-то с ним, сейчас как дела обстоят не знаю, но думаю ничего не изменилось


  • 0

#32 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 27 Апрель 2015 - 23:06

@Ixman, вечно голодный видимо =)))

Сегодня выяснились таки подводные камни: хостер статику через апач отдает без сжатия - это более неприятно, чем голодный бот... Склоняюсь к мысли все-таки вернуться к родному robots.txt

Врюхался я с начатым редизайном MobileFriendly и переходом на html5 по самое небалуй... Все с ноля приходится осваивать... И родные last-modified и expires валидацию не проходят, надо осваивать header-ы для передачи заголовков... И "сво" jQuery в асинхронную загрузку не лезет, надо придумывать новые ваиранты увеличения картинок без него... Трандец подкрался незаметно...  B)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#33 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 28 Апрель 2015 - 15:52

@ShowPrint, apache всё хорошо воспринимает и жмёт через htaccess. В поиске настройки pagespeed 


  • 0

#34 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 28 Апрель 2015 - 16:13

@Ixman, то есть можно принудительно сжать, вне зависимости от настроек хостинга?

(сорри, я ламмер - читать/изучать/осваивать готов, но вопросы могу задавать детские...)  :huh:


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#35 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 28 Апрель 2015 - 17:43

@ShowPrint, почти всегда да


  • 0

#36 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 28 Апрель 2015 - 17:47

@Ixman, спасибо, посмотрю, будет чем заняться ночером... =)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#37 cofiya

cofiya
  • Пользователь
  • 2 сообщений
  • Репутация: 0

Отправлено 06 Июль 2015 - 21:03

Здравствуйте, подскажите как правильно сделать запись в файле .htaccess с использованием тега X-Robots-Tag, чтобы закрыть от индексации страницы с фидами (feed).


  • 0

#38 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 06 Июль 2015 - 21:20

@cofiya, здравствуйте. Попробуйте такой вариант

<IfModule mod_headers.c>
<Files rss.xml>
Header set X-Robots-Tag "noindex"
</Files>
</IfModule>

  • 0

#39 cofiya

cofiya
  • Пользователь
  • 2 сообщений
  • Репутация: 0

Отправлено 06 Июль 2015 - 21:42

@Ixman, спасибо, я попробовала, но все равно ответ сервера не выдает строку X-Robots-Tag: noindex

Проверяю строки такого содержания http://домен/название_статьи/feed через сайт http://www.askapache...p-headers-tool/

Гугл такие страницы проиндексировал и я хочу их удалить из Google Supplemental Index.


Сообщение отредактировал cofiya: 06 Июль 2015 - 21:43

  • 0

#40 Ixman

Ixman
    Topic Starter
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 06 Июль 2015 - 21:50

@cofiya, покажите конкретный url с фидом на вашем сайте 

А то я думал нужно закрыть xml файл, а вижу, что у вас там немного по другому реализовано


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru