[X] Помощник

[Robot-sgibatel Topic Starter]

Вот в этой статье _http://www.vverx.com/phpbb/se-optimizatsiya-phpbb2/ написано закрыть в robots.txt Disallow: /profile.php а потом еще и установить мод, который :

3. Убирает ссылку с имени юзера в поле последнего поста на странице index.php.

Вопрос - есть ли смысл убирать ссылку с имени, если она ведет на profile.php закрытый в robots.txt ?

[ZiTosS]

А ты посмотри какого вида ссылка...
ПС всё равно будет индексировать подобные ссылки. Disallow: /profile.php запрещает индексировать именно при таком обращении, а к примеру такое уже не будет для робота запрещённым /profile.php?id=1

[Robot-sgibatel Topic Starter]

А ты посмотри какого вида ссылка...
ПС всё равно будет индексировать подобные ссылки. Disallow: /profile.php запрещает индексировать именно при таком обращении, а к примеру такое уже не будет для робота запрещённым /profile.php?id=1

А ссылок на /profile.php вообще нет, все ссылки такие profile.php?mode=viewprofile&u=4

[ZiTosS]

_http://www.webmasterworld.com/forum93/54.htm

[Robot-sgibatel Topic Starter]

Пытался перевести но не получилось . Можно в двух словах что там написано?

[Robot-sgibatel Topic Starter]

ZiTosS, у меня все ссылки на профайлы такие profile.php?mode=viewprofile&u=4, я недавно закрыл в роботсе /profile.php и сегодня увидел в Я-панели что все профайлы выпали из индекса.

Теперь конкретный вопрос: Будет ли утекать вес по ссылке с морды на профайл, если профайл закрыт в роботе?

[ZiTosS]

Хочу сделать возможным, чтобы googlebot индексировал index.php, но не индексировал index.php?param=example. Так, если я пишу в robots.txt

Disallow: /index.php?

index.php будет индексироваться? Я посмотрел в google их robots.txt, что они пишут exlude /mac?, я предполагаю, что это позволит индексировать /mac ...!? - это действительно так? Могу я использовать подобный код? В интернете нет никакой ЛЮБОЙ информации об этом ни на google, ни в пределах w3c спецификаций ...

Например:

Disallow: /this.php?

-> /this.php?param=example

==> Робот не проиндексирует

-> /this.php

==> Робот проиндексирует

Так или нет?

.............
Отталкиваясь от выше сказанного я бы ответил так что:

/this.php будет проиндексирован, если ваш robots.txt имеет директиву

Disallow: /this.php?

Хмм. У меня обратная ситуация. Я блокировал каждый Поисковик от доступа к /cgi-bin/script.pl, но Googlebot все еще обращался к страницам с параметрами (/cgi-bin/script.pl?something=here), сейчас они в индексе, но они не имеют никакой информации.

Относительно комментария Moltar'а:
Google и Ask Jeeves имеют поведение, которое отлично от большинства другие пауков: Если любой из этих пауков находит связь со страницей, они составят список страницы, несмотря на то, robots.txt запрещает их индексацию. Если страница отвергнута, они не будут ползать, но составят список этого URL. Другие пауки поисковика интерпретируют disallow как, "не должен обращаться к этой странице вообще", но поведение "Листинг" Google и AJ явно не определяет стандарт для исключений роботами

Yidaki задал другой вопрос скрытной(непонятной) области: С тех пор, как строка запроса стала не технической частью URL (строка запроса вместо аргумента перешел к агенту в специфическом URL),робот, ожидаемый/требуемый для признания значений строки различного запроса как части URL для целей соответствия disallow директиве? Мое мнение, что плохая идея зависеть от любого стандартного поведения различных роботов, отвергающих сомнительные строки строки. Хороштй аргумент к этим словам, использовать ЧПУ, вместо динамических ссылок.

А вообще мне толком самому не понятно, закрывает ли полностью от индексации строка с именем файла. Вроде как должна...

[Robot-sgibatel Topic Starter]

Ну а если я пропишу в robots.txt

Disallow: /profile.php
Disallow: /profile.php?

То тогда ведь точно все закроется?

ЗЫ Вопрос СЕОшникам: Если я размещу на морде ссылку на страницу закрытую в robots.txt, то по ней будет утекать вес с морды?

[ZiTosS]

Как написано на searchengines

Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь. Например, чтобы запретить посещение страниц для печати вида _http://www.site.com/index.php?action=print&id=1, но разрешить посещение страниц вида _http://www.site.com/index.php?action=view&id=1, необходимо в robots.txt написать следующее:
Disallow: /index.php?action=print
Однако следует учитывать порядок параметров в ссылке. Так, следующие страницы робот посетит:
_http://www.site.com/index.php?id=1&action=print
_http://www.site.com/?action=print&id=1

То есть в вашем случае нужно запретить оба случая, без параметров и с параметрами, так и есть...

Disallow: /profile.php
Disallow: /profile.php?

[Robot-sgibatel Topic Starter]

А как на счет этого

ЗЫ Вопрос СЕОшникам: Если я размещу на морде ссылку на страницу закрытую в robots.txt, то по ней будет утекать вес с морды?

Допустим, если я у вас на форуме размещу ссылку на свою страницу, закрытую от индексации в роботсе, будет с форум вес утекать?