Перейти к содержимому


Партнерская программа Kredov

Правило robots для закрытия от индексации аккаунтов пользователей

#11 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410
0

Отправлено 10 Декабрь 2015 - 13:06

вешает заглушку, что "содержимое заблокировано в роботс тхт
что и называется сопли...  :D  :D  :D

 

По сути сказанное и есть:

на файл google клал уже как пару лет

 

 

И хорошо когда речь идет о странице, в которой можно указать noindex, а когда он вешает в сопли pdf, eps и прочие файлы - носовых платков не напастись...


  • 1
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#12 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 13:19

что и называется сопли...

 

Можно сказать и так. 

 

И хорошо когда речь идет о странице, в которой можно указать noindex, а когда он вешает в сопли pdf, eps и прочие файлы - носовых платков не напастись..
  • Для pdf, eps, txt и т.п. есть x-robots-tag. Прекрасно работает.
  • Для страниц метатег роботс параметром noindex.
  • Для ссылок со всякими параметрами, сортировками и хешами - Параметры URL в сёрч консоли.
  • Для дублирующих - canonical

Повертеться с бубном есть в какую сторону.


  • 0

#13 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410

Отправлено 10 Декабрь 2015 - 14:26

Для pdf, eps, txt и т.п. есть x-robots-tag. Прекрасно работает

Аха...

<FilesMatch "\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">
	Header set X-Robots-Tag "noindex"
</FilesMatch>

Untitled-1.png

 

Untitled-2.png

 

АФИГЕННО работает!!!  :smile-thumb-up:

 

Повертеться с бубном есть в какую сторону

За...лся (замучился) уже с бубном плясать... И знаю точно что не я один...  :diablo:


Сообщение отредактировал ShowPrint: 10 Декабрь 2015 - 14:28

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#14 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 14:44

АФИГЕННО работает!!! 
 

Это зачем в роботс.тхт закрыто? Чтобы краулер не считал заголовок с noindex?  Чтобы краулер считал информацию, должен быть ему предоставлен доступ.

 

За...лся (замучился) уже с бубном плясать... И знаю точно что не я один...

 

Чтение документации на английском языке (на русском кривой перевод) решает множество проблем.


  • 1

#15 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410

Отправлено 10 Декабрь 2015 - 15:02

Это зачем в роботс.тхт закрыто?
Затем, что когда открыл в роботс.тхт, понадеявшись на то, что сначала читается хтаццесс - получил сразу такой "букет" соплей, замучился утирать...

 

Чтение документации на английском языке (на русском кривой перевод) решает множество проблем
Это неоспоримо, но мне уже не поможет - скоро на пенсию, выучить на успею... говорила мне мама: "учи английский язык, сынок" (с) а я вместо этого девкам под юбки заглядывал...  B)
  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#16 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 14 Декабрь 2015 - 00:32

Затем, что когда открыл в роботс.тхт, понадеявшись на то, что сначала читается хтаццесс - получил сразу такой "букет" соплей, замучился утирать...

Зачем делать работу за поисковика?

Уже много раз докладчики компании говорили, что значение имеют не портянки по запросу site, а то, что ищется по запросам. По этой причине нет до сих пор способа посмотреть истинное кол-во  страниц в индексе. Сопли, шмопли, 404 - всё, что уходит вниз Гугл сам сгруппирует, сформирует и рассунет куда надо. Работать надо с запросами и страницами, которые обслуживают эти запросы. Главное - это не превысить лимиты на сканирование, поэтому закрыли, повесили, например, метатег, отдали 404 или настроили параметры URL и забыли.


  • 0

#17 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 14 Декабрь 2015 - 08:44

@aldous,По существу что нибудь будет?

 

Вот это вы о чем?

 

По этой причине нет до сих пор способа посмотреть истинное кол-во  страниц в индексе

site:domen.ru/&  все страницы в выдачи покажет. 

 

Дальше не стал цитировать генеренку не относящую к теме топика по закрытию в robots.txt 

 

P.s Давайте или по существу или ничего.....


Сообщение отредактировал BLIK: 14 Декабрь 2015 - 08:45

  • 0


#18 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 14 Декабрь 2015 - 10:23

site:domen.ru/&  все страницы в выдачи покажет. 

Амперсанд не используется уже года 3 так, а может и больше  :) . Оператор site - это сейчас каша всех результатов. Выдача - то, что получает пользователь. Site - то, что было и есть в Гугле со всеми багами и историями. Так объясняли из команды кач-ва поиска. 

 

По существу что нибудь будет?

 

Если страницы были отсканированы (скан - действия на сайте), роботс уже не поможет, если хочется, чтобы страницы исчезли.


  • 0

#19 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 410

Отправлено 17 Февраль 2016 - 20:45

Сорри что апнул тему, но... @BLIK, может тебя заинтересует тот факт, что убрав в robots.txt из директив для Гугля следующие строки:

Disallow: /*.cdr
Disallow: /*.eps
Disallow: /*.rar
Disallow: /*.ai
Disallow: /*.zip
Disallow: /*.rar
Disallow: /*.doc
Disallow: /*.pdf

и оставив в htaccess следующее:

<FilesMatch "\.(doc|txt|xls|pdf|cdr|eps|ai|rar|zip)$">
    Header set X-Robots-Tag "noindex"
</FilesMatch>

у меня из Гуг-соплей по прошествии времени пропали все файлы с указанными расширениями, которых до этого (при наличии директив в robots.txt) там было достаточное количество...

 

То есть @aldous оказался реально прав!

 

Помню что у тебя где-то тоже были проблемы с Г-соплями, так что при желании можешь провести аналогичный эксперимент... Сейчас посмотрел и обнаружил что у меня осталась всего одна "сопля" в качестве страницы "модуля подписки"... Но я как раз от него сейчас избавляюсь посредством перевода в модальное окно...

 

Даже не верится что у меня получиться окончательно вылечиться "от насморка"...  B)

Эх... "Век живи - век учись"... (с)


  • 1
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru