Помощник
|
Правило robots для закрытия от индексации аккаунтов пользователей |
BLIK
|
Сообщение
#1
|
|||
|
|
|||
|
||||
ShowPrint |
15.11.2015, 22:05;
Ответить: ShowPrint
Сообщение
#2
|
|
Не уверен... Гуг какой-то совершенно сопливый стал... Лезет куда ни попадя... И такое ощущение что robots ему не указ... У меня сам robots.txt в его сопли попал каким-то образом... :huh:
Единственное что лично мне удалось сохранить от его соплей - закрытое паролем в htaccess, походу только это его еще пока останавливает... :wacko: Не думаю что смена правила утрёт ему сопли, может быть только увеличит количество страниц с подобным коментом... :( BLIK_mw, покурил тут тему, наткнулся на интересную инфу по теме (...тынц...) из которой следует что Гуг как-то нелогично поступает с анализом robots.txt... :( А именно: если страницы сначала попала в индекс, а потом "закрылась" через роботс - то она попадает в сопли... Предлагается открыть доступ к странице и при этом проставить для страницы noindex, чтоб Гуг выкинул ее из индекса... Ну не придурок???... Не знаю насколько это уместно для тебя с аккаунтами юзверей, а я подумаю как смахинировать, чтоб при помощи этого попробовать избавиться от соплей... Вот пока и писал изменения слова Ixman на ту же тему... Сообщение отредактировал ShowPrint - 15.11.2015, 22:44 |
|
|
ixman |
15.11.2015, 22:40;
Ответить: ixman
Сообщение
#3
|
|
Если есть возможность, то лучше использовать мета тег, а на файл google клал уже как пару лет.
|
|
|
BLIK
|
Сообщение
#4
|
|
ShowPrint,Ixman, Да он выброчно как то в сопли кидает.
Я смотрю другие папки закрытые, он не берет их, а вот аккаунты пользователей хавает, может потом что там идет members/nik/ и из за концовки ника берет в сопли. Так а что думаете, если так
Поможет или не? По сути папку members он не индексирует, а вот с концовкой с ником пользователей хавает |
|
|
ShowPrint |
15.11.2015, 23:58;
Ответить: ShowPrint
Сообщение
#5
|
|
BLIK_mw, тогда уже скорее как-то так:
Ну и проверить через ГВМ отсутствие доступа, ну ты в курсе... =) Только исходя из личного опыта и из содержания по ссылке: то, что уже попало в сопли - утереть будет уже очень сложно... Если я правильно понял логику - сначала надо сопли подтереть, а потом доступ закрыть... Пробей правило которое установлено сейчас - есть ощущение что оно закрывает содержимое самой папки, но не вложенных, а * должна закрыть саму папку и все вложенные папки... Сообщение отредактировал ShowPrint - 16.11.2015, 0:02 |
|
|
BLIK
|
Сообщение
#6
|
|
ShowPrint,Да он и так и так и со старым правилом пишет не доступен, но сопли то есть. :angry:
Я спросил, может кто уже делал подобное и кидал такое правило. P.s Посмотрел выдачу этого форума, тоже есть приписка и сопли, но, так как тут много пользователей, в соплях отображаются или не все или смешаны с нормальной выдаче при просмотре. Сообщение отредактировал BLIK - 16.11.2015, 0:22 |
|
|
ShowPrint |
16.11.2015, 0:23;
Ответить: ShowPrint
Сообщение
#7
|
|
BLIK_mw, возможно несоответствие алгоритмов проверки и ботов... Вспомни мою кучу тем посвященных сопливому Гуглю и свои ответы в них что не я один руками регулярно вычищаю...
Наткнувшись на сегодняшнюю информацию засел за проверку ситуации с роботсом - собираюсь открыть доступ к своим соплям, а все что в соплях у меня 301-м обрабатывается... По сути при получении доступа 301, также как и 404 должен сопли почистить... Результат понятно следует ожидать через некоторое время... Если будет удачным - сообщу... |
|
|
aldous |
10.12.2015, 13:09;
Ответить: aldous
Сообщение
#8
|
|
Google обрабатывает robots так, как полагается: разрешается доступ - краулер сканирует содержимое ссылки, запрещается доступ - краулер перестаёт сканировать. К индексу отношения это не имеет вообще никакого, кроме того, что после удачного сканирования информация о странице обновится. Если сканирование не удачно, информация не обновится.
|
|
|
ShowPrint |
10.12.2015, 13:31;
Ответить: ShowPrint
Сообщение
#9
|
|
Если сканирование не удачно, информация не обновится aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли? Правильно я понял: запрещается доступ - краулер перестаёт сканировать Сообщение отредактировал ShowPrint - 10.12.2015, 13:35 |
|
|
aldous |
10.12.2015, 13:49;
Ответить: aldous
Сообщение
#10
|
|
@aldous, то есть если в robots.txt стоит правило Disallow, то новый файл (попадающий под это правило) в индекс не попадет никогда, в том числе и в сопли Новая страница, которая создана после того, как правило в робот появилось, не должна попасть. На деле всё немного по-другому, потому как то роботс до гугла с запозданием доходит, то с ошибками читается, то баги. И есть ещё одна техническая фишка, с гуглерами она обсуждалась. Если на такую страницу где-то появилась ссылка, то Гугл о ней фактически узнаёт, но в соответствии с запретом не может к ней обратиться и вешает заглушку, что "содержимое заблокировано в роботс тхт. |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
✅ sms.chekons.com - ⭐ Сервис для получения SMS на реальные номера USA "Non-VoIP, безлим SMS, API" ⭐ Сервис для получения SMS на реальные номера USA |
13 | Chekon | 4078 | Вчера, 11:48 автор: Chekon |
|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 1 | Rebex | 680 | 17.4.2024, 11:50 автор: Rebex |
|
Какой % отказов нормален для сайта? | 11 | Aloof | 2813 | 16.4.2024, 12:48 автор: diviner99 |
|
Betatransfer.net - прием платежей для HIGH RISK проектов, интернет эквайринг и мерчант онлайн оплат | 54 | arendator | 34836 | 15.4.2024, 15:16 автор: arendator |
|
⭕Антидетект браузер AdsPower для эффективной работы с мультиаккаунтами! | 83 | AdsPower | 24425 | 14.4.2024, 22:52 автор: AdsPower |
Текстовая версия | Сейчас: 19.4.2024, 19:28 |