[X] Помощник

[BLIK Topic Starter]

Приветствую!

Что то я запутался с правилом.

Суть, есть аккаунты юзеров(members)

Яндекс хорошо понимает правило

Disallow: /members/

И не индексирует аккаунты.

А вот в Google такая запись в выдачи(в соплях)


Может правило другое написать, например:

Disallow: /*members

Сработает или не?

Нужно чтоб даже в соплях не появлялись аккаунты юзеров, пускай и с припиской(выше)

Противоядие есть?

[ShowPrint]

Не уверен... Гуг какой-то совершенно сопливый стал... Лезет куда ни попадя... И такое ощущение что robots ему не указ... У меня сам robots.txt в его сопли попал каким-то образом...  :huh:
Единственное что лично мне удалось сохранить от его соплей - закрытое паролем в htaccess, походу только это его еще пока останавливает...  :wacko:
Не думаю что смена правила утрёт ему сопли, может быть только увеличит количество страниц с подобным коментом...  :(

BLIK_mw, покурил тут тему, наткнулся на интересную инфу по теме (...тынц...) из которой следует что Гуг как-то нелогично поступает с анализом robots.txt...  :(
А именно: если страницы сначала попала в индекс, а потом "закрылась" через роботс - то она попадает в сопли... Предлагается открыть доступ к странице и при этом проставить для страницы noindex, чтоб Гуг выкинул ее из индекса... Ну не придурок???...

Не знаю насколько это уместно для тебя с аккаунтами юзверей, а я подумаю как смахинировать, чтоб при помощи этого попробовать избавиться от соплей...

Вот пока и писал изменения слова Ixman на ту же тему...


Сообщение отредактировал ShowPrint - 15.11.2015, 22:44

[ixman]

Если есть возможность, то лучше использовать мета тег, а на файл google клал уже как пару лет.

[BLIK Topic Starter]

ShowPrint,Ixman,  Да он выброчно как то в сопли кидает.

Я смотрю другие папки закрытые, он не берет их, а вот аккаунты пользователей хавает, может потом что там идет  members/nik/  и из за концовки ника берет в сопли.

Так а что думаете, если так 

Disallow: /*members

Поможет или не? По сути папку members он не индексирует, а вот с концовкой с ником пользователей хавает

[ShowPrint]

BLIK_mw, тогда уже скорее как-то так:

Disallow: /members/*

Ну и проверить через ГВМ отсутствие доступа, ну ты в курсе... =)

Только исходя из личного опыта и из содержания по ссылке: то, что уже попало в сопли - утереть будет уже очень сложно...
Если я правильно понял логику - сначала надо сопли подтереть, а потом доступ закрыть...

Пробей правило которое установлено сейчас - есть ощущение что оно закрывает содержимое самой папки, но не вложенных, а * должна закрыть саму папку и все  вложенные папки...


Сообщение отредактировал ShowPrint - 16.11.2015, 0:02

[BLIK Topic Starter]

ShowPrint,Да он и так и так и со старым правилом пишет не доступен, но сопли то есть. :angry:

Я спросил, может кто уже делал подобное и кидал такое правило. 

P.s Посмотрел выдачу этого форума, тоже есть приписка и сопли, но, так как тут много пользователей, в соплях отображаются или не все или смешаны с нормальной выдаче при просмотре.


Сообщение отредактировал BLIK - 16.11.2015, 0:22

[ShowPrint]

BLIK_mw, возможно несоответствие алгоритмов проверки и ботов... Вспомни мою кучу тем посвященных сопливому Гуглю и свои ответы в них что не я один руками регулярно вычищаю...

Наткнувшись на сегодняшнюю информацию засел за проверку ситуации с роботсом - собираюсь открыть доступ к своим соплям, а все что в соплях у меня 301-м обрабатывается... По сути при получении доступа 301, также как и 404 должен сопли почистить... Результат понятно следует ожидать через некоторое время... Если будет удачным - сообщу...

[aldous]

Google обрабатывает robots так, как полагается: разрешается доступ - краулер сканирует содержимое ссылки, запрещается доступ - краулер перестаёт сканировать. К индексу отношения это не имеет вообще никакого, кроме того, что после удачного сканирования информация о странице обновится. Если сканирование не удачно, информация не обновится.

[ShowPrint]

Если сканирование не удачно, информация не обновится

aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли?
Правильно я понял:

запрещается доступ - краулер перестаёт сканировать

Сообщение отредактировал ShowPrint - 10.12.2015, 13:35

[aldous]

@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли

 
Новая страница, которая создана после того, как правило в робот появилось, не должна попасть.
На деле всё немного по-другому, потому как то роботс до гугла с запозданием доходит, то с ошибками читается, то баги. И есть ещё одна техническая фишка, с гуглерами она обсуждалась. Если на такую страницу где-то появилась ссылка, то Гугл о ней фактически узнаёт, но в соответствии с запретом не может к ней обратиться и вешает заглушку, что "содержимое заблокировано в роботс тхт.