Перейти к содержимому


Выбрать шаблон и создать сайт

Правило robots для закрытия от индексации аккаунтов пользователей

#1 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630
0

Отправлено 15 Ноябрь 2015 - 20:40

Приветствую!

 

Что то я запутался с правилом.

 

Суть, есть аккаунты юзеров(members)

 

Яндекс хорошо понимает правило

Disallow: /members/

И не индексирует аккаунты.

 

А вот в Google такая запись в выдачи(в соплях)

1.PNG

 

Может правило другое написать, например:

Disallow: /*members

Сработает или не?

 

Нужно чтоб даже в соплях не появлялись аккаунты юзеров, пускай и с припиской(выше)

 

Противоядие есть?


 

 

  • 0


#2 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 15 Ноябрь 2015 - 21:05

Не уверен... Гуг какой-то совершенно сопливый стал... Лезет куда ни попадя... И такое ощущение что robots ему не указ... У меня сам robots.txt в его сопли попал каким-то образом...  :huh:

Единственное что лично мне удалось сохранить от его соплей - закрытое паролем в htaccess, походу только это его еще пока останавливает...  :wacko:

Не думаю что смена правила утрёт ему сопли, может быть только увеличит количество страниц с подобным коментом...  :(

 

@BLIK, покурил тут тему, наткнулся на интересную инфу по теме (...тынц...) из которой следует что Гуг как-то нелогично поступает с анализом robots.txt...  :(

А именно: если страницы сначала попала в индекс, а потом "закрылась" через роботс - то она попадает в сопли... Предлагается открыть доступ к странице и при этом проставить для страницы noindex, чтоб Гуг выкинул ее из индекса... Ну не придурок???...

 

Не знаю насколько это уместно для тебя с аккаунтами юзверей, а я подумаю как смахинировать, чтоб при помощи этого попробовать избавиться от соплей...

 

Вот пока и писал изменения слова @Ixman на ту же тему...


Сообщение отредактировал ShowPrint: 15 Ноябрь 2015 - 21:44

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#3 Ixman

Ixman
  • Пользователь PRO
  • 2 159 сообщений
  • Репутация: 432

Отправлено 15 Ноябрь 2015 - 21:40

Если есть возможность, то лучше использовать мета тег, а на файл google клал уже как пару лет.


  • 0

#4 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 15 Ноябрь 2015 - 22:09

@ShowPrint,@Ixman,  Да он выброчно как то в сопли кидает.

 

Я смотрю другие папки закрытые, он не берет их, а вот аккаунты пользователей хавает, может потом что там идет  members/nik/  и из за концовки ника берет в сопли.

 

Так а что думаете, если так 

Disallow: /*members

Поможет или не? По сути папку members он не индексирует, а вот с концовкой с ником пользователей хавает


  • 0


#5 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 15 Ноябрь 2015 - 22:58

@BLIK, тогда уже скорее как-то так:

Disallow: /members/*

Ну и проверить через ГВМ отсутствие доступа, ну ты в курсе... =)

 

Только исходя из личного опыта и из содержания по ссылке: то, что уже попало в сопли - утереть будет уже очень сложно...

Если я правильно понял логику - сначала надо сопли подтереть, а потом доступ закрыть...

 

Пробей правило которое установлено сейчас - есть ощущение что оно закрывает содержимое самой папки, но не вложенных, а * должна закрыть саму папку и все  вложенные папки...


Сообщение отредактировал ShowPrint: 15 Ноябрь 2015 - 23:02

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#6 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 15 Ноябрь 2015 - 23:07

@ShowPrint,Да он и так и так и со старым правилом пишет не доступен, но сопли то есть. :angry:

 

Я спросил, может кто уже делал подобное и кидал такое правило. 

 

P.s Посмотрел выдачу этого форума, тоже есть приписка и сопли, но, так как тут много пользователей, в соплях отображаются или не все или смешаны с нормальной выдаче при просмотре.


Сообщение отредактировал BLIK: 15 Ноябрь 2015 - 23:22

  • 0


#7 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 15 Ноябрь 2015 - 23:23

@BLIK, возможно несоответствие алгоритмов проверки и ботов... Вспомни мою кучу тем посвященных сопливому Гуглю и свои ответы в них что не я один руками регулярно вычищаю...

 

Наткнувшись на сегодняшнюю информацию засел за проверку ситуации с роботсом - собираюсь открыть доступ к своим соплям, а все что в соплях у меня 301-м обрабатывается... По сути при получении доступа 301, также как и 404 должен сопли почистить... Результат понятно следует ожидать через некоторое время... Если будет удачным - сообщу...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#8 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 12:09

Google обрабатывает robots так, как полагается: разрешается доступ - краулер сканирует содержимое ссылки, запрещается доступ - краулер перестаёт сканировать. К индексу отношения это не имеет вообще никакого, кроме того, что после удачного сканирования информация о странице обновится. Если сканирование не удачно, информация не обновится.


  • 0

#9 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 10 Декабрь 2015 - 12:31

Если сканирование не удачно, информация не обновится

@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли?


 

Правильно я понял:

запрещается доступ - краулер перестаёт сканировать

Сообщение отредактировал ShowPrint: 10 Декабрь 2015 - 12:35

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#10 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 12:49

@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли
 

Новая страница, которая создана после того, как правило в робот появилось, не должна попасть.

На деле всё немного по-другому, потому как то роботс до гугла с запозданием доходит, то с ошибками читается, то баги. И есть ещё одна техническая фишка, с гуглерами она обсуждалась. Если на такую страницу где-то появилась ссылка, то Гугл о ней фактически узнаёт, но в соответствии с запретом не может к ней обратиться и вешает заглушку, что "содержимое заблокировано в роботс тхт.


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru