[X] Помощник

[Kuchuluk Topic Starter]

файл robots.txt таким образом правильно написан?

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Host: domen.com
Sitemap: http://domen.com/sitemap.xml

[sosnovskij]

Да, но корректность условий disallow определяется поставленными задачами

[hammer8]

Для движка WordPress я использую следующий robots.txt. Думаю он подойдет для большинства блогов.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: http://site.com
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

файл robots.txt таким образом правильно написан?

Этот первоначальный robots.txt, ошибок в нем нет.

[Kuchuluk Topic Starter]

корректность условий disallow определяется поставленными задачами

меня вообще не disallow больше интересует, а главное зеркало. Деректива HOST должна идти сразу после disallow, да?

Для движка WordPress я использую следующий robots.txt.

у меня на фреймворке сайт, поэтом мне там особо больше закрывать то и нечего...

Вообще, какая последовательность деректив друг за другом? Вот на этот вопрос нигде внятного ответа нет. В помощи яндекса для вебмастеров даже не указано конкретно в какой последовательности они должны следовать друг за другом.

[hammer8]

Деректива HOST должна идти сразу после disallow, да?

Директиву host, как и ссылку на карту обычно, для удобства прописывают в конце роботса. Это стандарт.

[Kuchuluk Topic Starter]

[member=hammer8], понял, спасибо!

[Triniti_Wel_mw]

Вопрос. Что это?
Sitemap: http://site.com/sitemap.xml.gz
И еще: принципиален ли пропуск строки после
Disallow: /*?*
Disallow: /*.php
перед адресом сайта?

[hammer8]

Sitemap: http://site.com/sitemap.xml.gz

Это карта сайта в формате xml.gz.

И еще: принципиален ли пропуск строки после

Не принципиально, но лично для меня удобно отделять строчкой robots для всех роботов и для Яндекса отдельно.

Сообщение отредактировал hammer8 - 11.1.2014, 23:50

[Triniti_Wel_mw]

Это карта сайта в формате xml.gz.

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти

[BLIK]

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти

Если у вас сайт на WordPress, то нужно вам создать карту сайта и потом прописать в robots.txt такие же строчки

Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

только имя сайта свое) А в помощь вам вот этот плагин http://wordpress.org...emap-generator/ и для наглядности еще и видео

http://youtu.be/n-941S11jzU

( пускай видео пустова то, но для примера подойдет)

Сообщение отредактировал Sosnovskij - 12.1.2014, 18:25