Перейти к содержимому

Рекламная сеть

Партнерская программа Expressrxsales

Правило robots для закрытия от индексации аккаунтов пользователей

#1 BLIK

BLIK
  • Супермодератор
  • 3 313 сообщений
  • Репутация: 681
0

Отправлено 15 Ноябрь 2015 - 20:40

Приветствую!

 

Что то я запутался с правилом.

 

Суть, есть аккаунты юзеров(members)

 

Яндекс хорошо понимает правило

Disallow: /members/

И не индексирует аккаунты.

 

А вот в Google такая запись в выдачи(в соплях)

1.PNG

 

Может правило другое написать, например:

Disallow: /*members

Сработает или не?

 

Нужно чтоб даже в соплях не появлялись аккаунты юзеров, пускай и с припиской(выше)

 

Противоядие есть?


 

 

  • 0


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Как закрыть от индексации конкретную страницу
  2. Вопросы по корректному составлению robots.txt
  3. Как закрыть похожие статьи от индексации
  4. Закрыть контент от индексации
  5. Как закрыть от индексации page 1,2,3...?

#2 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 934 сообщений
  • Репутация: 482

Отправлено 15 Ноябрь 2015 - 21:05

Не уверен... Гуг какой-то совершенно сопливый стал... Лезет куда ни попадя... И такое ощущение что robots ему не указ... У меня сам robots.txt в его сопли попал каким-то образом...  :huh:

Единственное что лично мне удалось сохранить от его соплей - закрытое паролем в htaccess, походу только это его еще пока останавливает...  :wacko:

Не думаю что смена правила утрёт ему сопли, может быть только увеличит количество страниц с подобным коментом...  :(

 

@BLIK, покурил тут тему, наткнулся на интересную инфу по теме (...тынц...) из которой следует что Гуг как-то нелогично поступает с анализом robots.txt...  :(

А именно: если страницы сначала попала в индекс, а потом "закрылась" через роботс - то она попадает в сопли... Предлагается открыть доступ к странице и при этом проставить для страницы noindex, чтоб Гуг выкинул ее из индекса... Ну не придурок???...

 

Не знаю насколько это уместно для тебя с аккаунтами юзверей, а я подумаю как смахинировать, чтоб при помощи этого попробовать избавиться от соплей...

 

Вот пока и писал изменения слова @Ixman на ту же тему...


Сообщение отредактировал ShowPrint: 15 Ноябрь 2015 - 21:44

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#3 Ixman

Ixman
  • Пользователь PRO
  • 2 240 сообщений
  • Репутация: 490

Отправлено 15 Ноябрь 2015 - 21:40

Если есть возможность, то лучше использовать мета тег, а на файл google клал уже как пару лет.


  • 0

Не раздумывай - иди к нам! Фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org



#4 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 313 сообщений
  • Репутация: 681

Отправлено 15 Ноябрь 2015 - 22:09

@ShowPrint,@Ixman,  Да он выброчно как то в сопли кидает.

 

Я смотрю другие папки закрытые, он не берет их, а вот аккаунты пользователей хавает, может потом что там идет  members/nik/  и из за концовки ника берет в сопли.

 

Так а что думаете, если так 

Disallow: /*members

Поможет или не? По сути папку members он не индексирует, а вот с концовкой с ником пользователей хавает


  • 0


#5 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 934 сообщений
  • Репутация: 482

Отправлено 15 Ноябрь 2015 - 22:58

@BLIK, тогда уже скорее как-то так:

Disallow: /members/*

Ну и проверить через ГВМ отсутствие доступа, ну ты в курсе... =)

 

Только исходя из личного опыта и из содержания по ссылке: то, что уже попало в сопли - утереть будет уже очень сложно...

Если я правильно понял логику - сначала надо сопли подтереть, а потом доступ закрыть...

 

Пробей правило которое установлено сейчас - есть ощущение что оно закрывает содержимое самой папки, но не вложенных, а * должна закрыть саму папку и все  вложенные папки...


Сообщение отредактировал ShowPrint: 15 Ноябрь 2015 - 23:02

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#6 BLIK

BLIK
    Topic Starter
  • Супермодератор
  • 3 313 сообщений
  • Репутация: 681

Отправлено 15 Ноябрь 2015 - 23:07

@ShowPrint,Да он и так и так и со старым правилом пишет не доступен, но сопли то есть. :angry:

 

Я спросил, может кто уже делал подобное и кидал такое правило. 

 

P.s Посмотрел выдачу этого форума, тоже есть приписка и сопли, но, так как тут много пользователей, в соплях отображаются или не все или смешаны с нормальной выдаче при просмотре.


Сообщение отредактировал BLIK: 15 Ноябрь 2015 - 23:22

  • 0


#7 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 934 сообщений
  • Репутация: 482

Отправлено 15 Ноябрь 2015 - 23:23

@BLIK, возможно несоответствие алгоритмов проверки и ботов... Вспомни мою кучу тем посвященных сопливому Гуглю и свои ответы в них что не я один руками регулярно вычищаю...

 

Наткнувшись на сегодняшнюю информацию засел за проверку ситуации с роботсом - собираюсь открыть доступ к своим соплям, а все что в соплях у меня 301-м обрабатывается... По сути при получении доступа 301, также как и 404 должен сопли почистить... Результат понятно следует ожидать через некоторое время... Если будет удачным - сообщу...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#8 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 12:09

Google обрабатывает robots так, как полагается: разрешается доступ - краулер сканирует содержимое ссылки, запрещается доступ - краулер перестаёт сканировать. К индексу отношения это не имеет вообще никакого, кроме того, что после удачного сканирования информация о странице обновится. Если сканирование не удачно, информация не обновится.


  • 0

#9 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 934 сообщений
  • Репутация: 482

Отправлено 10 Декабрь 2015 - 12:31

Если сканирование не удачно, информация не обновится

@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли?


 

Правильно я понял:

запрещается доступ - краулер перестаёт сканировать

Сообщение отредактировал ShowPrint: 10 Декабрь 2015 - 12:35

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#10 aldous

aldous
  • Пользователь
  • 13 сообщений
  • Репутация: 2

Отправлено 10 Декабрь 2015 - 12:49

@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли
 

Новая страница, которая создана после того, как правило в робот появилось, не должна попасть.

На деле всё немного по-другому, потому как то роботс до гугла с запозданием доходит, то с ошибками читается, то баги. И есть ещё одна техническая фишка, с гуглерами она обсуждалась. Если на такую страницу где-то появилась ссылка, то Гугл о ней фактически узнаёт, но в соответствии с запретом не может к ней обратиться и вешает заглушку, что "содержимое заблокировано в роботс тхт.


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru