Перейти к содержимому


Партнерская программа HomeWork

Можно ли в robots.txt указывать несколько sitemap?

#1 Genesis

Genesis
  • Пользователь
  • 419 сообщений
  • Репутация: 27
0

Отправлено 26 Май 2011 - 08:45

Ребята подскажите, можно ли в robots.txt указывать несколько sitemap?
Выкладываю свой robots для ознакомления, может что неправильно сделано или добавить посоветуете?
Кстати еще хотел спросить правда ли что неправильно закрывать для индексирования папку /images как в джумле идет по умолчанию.

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /catalog/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /livezilla/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*Pechat.html
Sitemap: http://сайт.ру/index.php?option=com_xmap&sitemap=1&view=xml
Host: сайт.ру

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /catalog/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /livezilla/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*Pechat.html
Sitemap: http://сайт.ру/sitemap-xml-2.html?sitemap=1
Host: сайт.ру

User-agent: msnbot
Disallow: /

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. 321 предупреждение после добавления Sitemap в Google Webmaster
  2. Правильно ли настроил robots.txt?
  3. Robots.txt - что такое и как им правильно пользоваться
  4. Ссылки на файлы в sitemap.xml
  5. Составление файла robots.txt

#2 admin

admin
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 55

Отправлено 26 Май 2011 - 22:37

Genesis, а зачем несколько карт сайта?
Вроде бы правильно всё, закрыты "технические" дирректории. По images не подскажу, что там за страницы на site.ru/images/... ?
  • 0

#3 Genesis

Genesis
    Topic Starter
  • Пользователь
  • 419 сообщений
  • Репутация: 27

Отправлено 27 Май 2011 - 08:02

C картами разобрался, вопрос отпал. В /images картинки.
  • 0

#4 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 28 Май 2011 - 19:57

Genesis,
1) Не понял зачем:
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Разве коим-то правилом вы запрещаете индексировать данный документ?
2) Папки с инсталляцией вообще быть не должно, после установки движков обычно просят её удалять. Смотрите... Напортят вам что-нить в работе ресурса.
3) Несколько карт можно указывать даже для одного робота.
4) С директивой Host вы не правильно разобрались.
Вот что пишет Яндекс:

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').

Как мне кажется, имеется ввиду, что директиву host надо добавлять сразу же после Disallow(Allow).
Хотя по этому поводу есть тоже несколько слов:

Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.

Так же:

Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.

Данная директива корректно воспринимается только Яшей, если я не ошибаюсь.
Вот ещё ссылка по этой директиве:
http://robotstxt.org...ots/yandex#Host
5) Про заглавные буквы в названии файла robots.txt молчу... (следует из заголовка темы)
  • 0


Оформление форума – IPBSkins.ru