Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Несколько robots

#1 Xap

Xap
  • Пользователь
  • 1 520 сообщений
  • Репутация: 0
0

Отправлено 03 Январь 2009 - 11:06

Все доброго дня. Вопрос в следующем:
У меня стоит сайт на wordpress а в папке forum находится форум на phpbb Для wp у меня свой robots.txt а для phpbb хочу сделать свой. Корректно ли это будет, что появятся два robots? И Если все будет необходимо написать в одном, то как как тогда составить robots который изначально должен иметь следующий вид:
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /extension.php
Disallow: /news.php
Disallow: /common.php
Disallow: /config.php
Disallow: /faq.php
Disallow: /friend.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /watched.php
Disallow: /index.php?c=

Это получается, если форум находится в папке forum то необходимо будет писать перед "/" "forum", получается вторая строчка будет выглядеть так: Disallow: forum/admin/ Так?

 

 

  • 0

#2 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 03 Январь 2009 - 22:01

Не знаю корректно или нет. Но вроде как robots.txt пишется всего доин и в корне сайта => корректен один файл
А писаться будет не так... А вот так:
Disallow: /forum/admin/
Означает от корня.
  • 0

#3 Bender

Bender
  • Пользователь
  • 712 сообщений
  • Репутация: 0

Отправлено 05 Январь 2009 - 12:07

А зачем все прятать если не секрет?
  • 0

#4 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 05 Январь 2009 - 14:30

Bender, как вы заметили от ПС прячат те файлы, к которым доступ он иметь не должен.
Например нафига ему индексировать админку, а точнее файлы лежащие в папке с админкой. Или файлы, которые подключаются к скрипту в процессе сборки проекта, но ни одна ссылка в проекте на него не ведёт.

Так зачем же поисковику их индексить, вот и запрещают :)
  • 0

#5 Xap

Xap
    Topic Starter
  • Пользователь
  • 1 520 сообщений
  • Репутация: 0

Отправлено 05 Январь 2009 - 19:59

Ув. Bender, если сайт добавлен в панель вебмастера Яндекса (я по-крайней мере со своими сайтами это делаю), то не нравится смотреть как он предупреждает, указывает, что где да как.
Кроме того, в админке куча файлов по которым будет ходить боты и выкачивать информацию, а это лишняя нагрузка на сервер (у меня форумы такой объем не занимают как админка :) ). Именно поэтому закрываю.
  • 0

#6 Yandex

Yandex
  • Пользователь
  • 155 сообщений
  • Репутация: 3

Отправлено 05 Январь 2009 - 22:13

А форум имеет адрес forum.site.ru или site.ru/forum?
  • 0

#7 Xap

Xap
    Topic Starter
  • Пользователь
  • 1 520 сообщений
  • Репутация: 0

Отправлено 05 Январь 2009 - 22:21

site.ru/forum - получается, что это по сути тот же сайт. Я так понимаю, если бы было forum.site.ru то надо было бы два robots
  • 0

#8 Yandex

Yandex
  • Пользователь
  • 155 сообщений
  • Репутация: 3

Отправлено 05 Январь 2009 - 22:37

site.ru/forum - получается, что это по сути тот же сайт. Я так понимаю, если бы было forum.site.ru то надо было бы два robots

Да именно! А так хватит и нужно только один! В нем просто указывать:

Disallow: /admin/
Disallow: /forum/user
Disallow: /forum/link
И пр. (Это пример)


  • 0

#9 Xap

Xap
    Topic Starter
  • Пользователь
  • 1 520 сообщений
  • Репутация: 0

Отправлено 05 Январь 2009 - 23:08

Так мне надо закрыть и эти файлы, что зря по ним будет лазить бот. Или есть какие-то ограничения?
  • 0

#10 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 06 Январь 2009 - 02:54

В зависимости каким образом вы обращаетесь к ресурсу.
Можно сделать виртуальный поддомен с помощью .htaccess, тогда пользователь будет обращаться к forum.site.ru, а серверу будет отдаваться site.ru/forum
Если у вас данные поддомена лежат в отдельной паке, то тогда нужно 2 robots.txt
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru