Перейти к содержимому



Оптимизация форума phpbb2

#1 Bender

Bender
  • Пользователь
  • 712 сообщений
  • Репутация: 0
0

Отправлено 15 Март 2009 - 18:04

Вот в этой статье _http://www.vverx.com/phpbb/se-optimizatsiya-phpbb2/ написано закрыть в robots.txt Disallow: /profile.php а потом еще и установить мод, который :

3. Убирает ссылку с имени юзера в поле последнего поста на странице index.php.

Вопрос - есть ли смысл убирать ссылку с имени, если она ведет на profile.php закрытый в robots.txt ?

 

 

  • 0

#2 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 16 Март 2009 - 10:04

А ты посмотри какого вида ссылка...
ПС всё равно будет индексировать подобные ссылки. Disallow: /profile.php запрещает индексировать именно при таком обращении, а к примеру такое уже не будет для робота запрещённым /profile.php?id=1
  • 0

#3 Bender

Bender
    Topic Starter
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 16 Март 2009 - 10:50

А ты посмотри какого вида ссылка...
ПС всё равно будет индексировать подобные ссылки. Disallow: /profile.php запрещает индексировать именно при таком обращении, а к примеру такое уже не будет для робота запрещённым /profile.php?id=1

А ссылок на /profile.php вообще нет, все ссылки такие profile.php?mode=viewprofile&u=4
  • 0

#4 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 16 Март 2009 - 11:10

_http://www.webmasterworld.com/forum93/54.htm
  • 0

#5 Bender

Bender
    Topic Starter
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 16 Март 2009 - 15:07

Пытался перевести но не получилось :unsure:. Можно в двух словах что там написано?
  • 0

#6 Bender

Bender
    Topic Starter
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 17 Март 2009 - 10:24

ZiTosS, у меня все ссылки на профайлы такие profile.php?mode=viewprofile&u=4, я недавно закрыл в роботсе /profile.php и сегодня увидел в Я-панели что все профайлы выпали из индекса.

Теперь конкретный вопрос: Будет ли утекать вес по ссылке с морды на профайл, если профайл закрыт в роботе?
  • 0

#7 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 17 Март 2009 - 10:57

Хочу сделать возможным, чтобы googlebot индексировал index.php, но не индексировал index.php?param=example. Так, если я пишу в robots.txt

Disallow: /index.php?
index.php будет индексироваться? Я посмотрел в google их robots.txt, что они пишут exlude /mac?, я предполагаю, что это позволит индексировать /mac ...!? - это действительно так? Могу я использовать подобный код? В интернете нет никакой ЛЮБОЙ информации об этом ни на google, ни в пределах w3c спецификаций ...

Например:
Disallow: /this.php?

-> /this.php?param=example
==> Робот не проиндексирует
-> /this.php
==> Робот проиндексирует

Так или нет?


.............
Отталкиваясь от выше сказанного я бы ответил так что:

/this.php будет проиндексирован, если ваш robots.txt имеет директиву

Disallow: /this.php?


Хмм. У меня обратная ситуация. Я блокировал каждый Поисковик от доступа к /cgi-bin/script.pl, но Googlebot все еще обращался к страницам с параметрами (/cgi-bin/script.pl?something=here), сейчас они в индексе, но они не имеют никакой информации.


Относительно комментария Moltar'а:
Google и Ask Jeeves имеют поведение, которое отлично от большинства другие пауков: Если любой из этих пауков находит связь со страницей, они составят список страницы, несмотря на то, robots.txt запрещает их индексацию. Если страница отвергнута, они не будут ползать, но составят список этого URL. Другие пауки поисковика интерпретируют disallow как, "не должен обращаться к этой странице вообще", но поведение "Листинг" Google и AJ явно не определяет стандарт для исключений роботами

Yidaki задал другой вопрос скрытной(непонятной) области: С тех пор, как строка запроса стала не технической частью URL (строка запроса вместо аргумента перешел к агенту в специфическом URL),робот, ожидаемый/требуемый для признания значений строки различного запроса как части URL для целей соответствия disallow директиве? Мое мнение, что плохая идея зависеть от любого стандартного поведения различных роботов, отвергающих сомнительные строки строки. Хороштй аргумент к этим словам, использовать ЧПУ, вместо динамических ссылок.


А вообще мне толком самому не понятно, закрывает ли полностью от индексации строка с именем файла. Вроде как должна...
  • 0

#8 Bender

Bender
    Topic Starter
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 20 Март 2009 - 17:41

Ну а если я пропишу в robots.txt

Disallow: /profile.php
Disallow: /profile.php?

То тогда ведь точно все закроется?

ЗЫ Вопрос СЕОшникам: Если я размещу на морде ссылку на страницу закрытую в robots.txt, то по ней будет утекать вес с морды?
  • 0

#9 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 20 Март 2009 - 18:28

Как написано на searchengines

Чтобы запретить роботу посещение динамических страниц, можно использовать частичный путь. Например, чтобы запретить посещение страниц для печати вида _http://www.site.com/index.php?action=print&id=1, но разрешить посещение страниц вида _http://www.site.com/index.php?action=view&id=1, необходимо в robots.txt написать следующее:
Disallow: /index.php?action=print
Однако следует учитывать порядок параметров в ссылке. Так, следующие страницы робот посетит:
_http://www.site.com/index.php?id=1&action=print
_http://www.site.com/?action=print&id=1


То есть в вашем случае нужно запретить оба случая, без параметров и с параметрами, так и есть...
Disallow: /profile.php
Disallow: /profile.php?

  • 0

#10 Bender

Bender
    Topic Starter
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 22 Март 2009 - 14:54

А как на счет этого

ЗЫ Вопрос СЕОшникам: Если я размещу на морде ссылку на страницу закрытую в robots.txt, то по ней будет утекать вес с морды?

Допустим, если я у вас на форуме размещу ссылку на свою страницу, закрытую от индексации в роботсе, будет с форум вес утекать?
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru