[X] Помощник

[Xap_mw Topic Starter]

Все доброго дня. Вопрос в следующем:
У меня стоит сайт на wordpress а в папке forum находится форум на phpbb Для wp у меня свой robots.txt а для phpbb хочу сделать свой. Корректно ли это будет, что появятся два robots? И Если все будет необходимо написать в одном, то как как тогда составить robots который изначально должен иметь следующий вид:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /extension.php
Disallow: /news.php
Disallow: /common.php
Disallow: /config.php
Disallow: /faq.php
Disallow: /friend.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /modcp.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /search.php
Disallow: /viewonline.php
Disallow: /watched.php
Disallow: /index.php?c=

Это получается, если форум находится в папке forum то необходимо будет писать перед "/" "forum", получается вторая строчка будет выглядеть так: Disallow: forum/admin/ Так?

[ZiTosS]

Не знаю корректно или нет. Но вроде как robots.txt пишется всего доин и в корне сайта => корректен один файл
А писаться будет не так... А вот так:

Disallow: /forum/admin/

Означает от корня.

[Robot-sgibatel]

А зачем все прятать если не секрет?

[ZiTosS]

Bender, как вы заметили от ПС прячат те файлы, к которым доступ он иметь не должен.
Например нафига ему индексировать админку, а точнее файлы лежащие в папке с админкой. Или файлы, которые подключаются к скрипту в процессе сборки проекта, но ни одна ссылка в проекте на него не ведёт.

Так зачем же поисковику их индексить, вот и запрещают

[Xap_mw Topic Starter]

Ув. Bender, если сайт добавлен в панель вебмастера Яндекса (я по-крайней мере со своими сайтами это делаю), то не нравится смотреть как он предупреждает, указывает, что где да как.
Кроме того, в админке куча файлов по которым будет ходить боты и выкачивать информацию, а это лишняя нагрузка на сервер (у меня форумы такой объем не занимают как админка ). Именно поэтому закрываю.

[Evgenii]

А форум имеет адрес forum.site.ru или site.ru/forum?

[Xap_mw Topic Starter]

site.ru/forum - получается, что это по сути тот же сайт. Я так понимаю, если бы было forum.site.ru то надо было бы два robots

[Evgenii]

site.ru/forum - получается, что это по сути тот же сайт. Я так понимаю, если бы было forum.site.ru то надо было бы два robots

Да именно! А так хватит и нужно только один! В нем просто указывать:

Disallow: /admin/
Disallow: /forum/user
Disallow: /forum/link
И пр. (Это пример)

[Xap_mw Topic Starter]

Так мне надо закрыть и эти файлы, что зря по ним будет лазить бот. Или есть какие-то ограничения?

[ZiTosS]

В зависимости каким образом вы обращаетесь к ресурсу.
Можно сделать виртуальный поддомен с помощью .htaccess, тогда пользователь будет обращаться к forum.site.ru, а серверу будет отдаваться site.ru/forum
Если у вас данные поддомена лежат в отдельной паке, то тогда нужно 2 robots.txt