Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Можно ли в robots.txt указывать несколько sitemap?

#1 Genesis

Genesis
  • Пользователь
  • 419 сообщений
  • Репутация: 27
0

Отправлено 26 Май 2011 - 08:45

Ребята подскажите, можно ли в robots.txt указывать несколько sitemap?
Выкладываю свой robots для ознакомления, может что неправильно сделано или добавить посоветуете?
Кстати еще хотел спросить правда ли что неправильно закрывать для индексирования папку /images как в джумле идет по умолчанию.

User-agent: *
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /catalog/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /livezilla/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*Pechat.html
Sitemap: http://сайт.ру/index.php?option=com_xmap&sitemap=1&view=xml
Host: сайт.ру

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /catalog/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /livezilla/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*Pechat.html
Sitemap: http://сайт.ру/sitemap-xml-2.html?sitemap=1
Host: сайт.ру

User-agent: msnbot
Disallow: /

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Указанный url запрещен к индексированию в файле robots.txt
  2. Правильно ли настроил robots.txt?
  3. Правильный ли robots.txt для wordpress
  4. Нужно ли теги закрывать в robots.txt
  5. Правильно ли настроен robots.txt

#2 admin

admin
  • Пользователь PRO
  • 5 272 сообщений
  • Репутация: 54

Отправлено 26 Май 2011 - 22:37

Genesis, а зачем несколько карт сайта?
Вроде бы правильно всё, закрыты "технические" дирректории. По images не подскажу, что там за страницы на site.ru/images/... ?
  • 0

Сколько лет прошло, а ссылки всё ещё лучше покупать тут



#3 Genesis

Genesis
    Topic Starter
  • Пользователь
  • 419 сообщений
  • Репутация: 27

Отправлено 27 Май 2011 - 08:02

C картами разобрался, вопрос отпал. В /images картинки.
  • 0

#4 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 28 Май 2011 - 19:57

Genesis,
1) Не понял зачем:
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Разве коим-то правилом вы запрещаете индексировать данный документ?
2) Папки с инсталляцией вообще быть не должно, после установки движков обычно просят её удалять. Смотрите... Напортят вам что-нить в работе ресурса.
3) Несколько карт можно указывать даже для одного робота.
4) С директивой Host вы не правильно разобрались.
Вот что пишет Яндекс:

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').

Как мне кажется, имеется ввиду, что директиву host надо добавлять сразу же после Disallow(Allow).
Хотя по этому поводу есть тоже несколько слов:

Тем не менее директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.

Так же:

Важно: Директива Host в файле robots.txt может быть только одна. В случае указания нескольких директив, использоваться будет первая.

Данная директива корректно воспринимается только Яшей, если я не ошибаюсь.
Вот ещё ссылка по этой директиве:
http://robotstxt.org...ots/yandex#Host
5) Про заглавные буквы в названии файла robots.txt молчу... (следует из заголовка темы)
  • 0


Оформление форума – IPBSkins.ru