Перейти к содержимому


Партнерская программа Kredov

Корректность файла robots.txt

#1 Kuchuluk

Kuchuluk
  • Пользователь
  • 315 сообщений
  • Репутация: 5
0

Отправлено 06 Январь 2014 - 16:55

файл robots.txt таким образом правильно написан?
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Host: domen.com
Sitemap: http://domen.com/sitemap.xml

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Можно ли в robots.txt указывать несколько sitemap?
  2. Корректность robots.txt для wordpress
  3. Вопросы по корректному составлению robots.txt
  4. Небольшая настройка robots.txt
  5. Запрет индексации определенного URL в robots.txt без запрета последующих

#2 Sosnovskij

Sosnovskij
  • Администратор
  • 3 886 сообщений
  • Репутация: 566

Отправлено 06 Январь 2014 - 17:10

Да, но корректность условий disallow определяется поставленными задачами :)
  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#3 hammer8

hammer8
  • Пользователь
  • 308 сообщений
  • Репутация: 31

Отправлено 06 Январь 2014 - 18:39

Для движка WordPress я использую следующий robots.txt. Думаю он подойдет для большинства блогов.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: http://site.com
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

файл robots.txt таким образом правильно написан?


Этот первоначальный robots.txt, ошибок в нем нет.
  • 0

#4 Kuchuluk

Kuchuluk
    Topic Starter
  • Пользователь
  • 315 сообщений
  • Репутация: 5

Отправлено 06 Январь 2014 - 19:53

корректность условий disallow определяется поставленными задачами

меня вообще не disallow больше интересует, а главное зеркало. Деректива HOST должна идти сразу после disallow, да?

Для движка WordPress я использую следующий robots.txt.

у меня на фреймворке сайт, поэтом мне там особо больше закрывать то и нечего...

Вообще, какая последовательность деректив друг за другом? Вот на этот вопрос нигде внятного ответа нет. В помощи яндекса для вебмастеров даже не указано конкретно в какой последовательности они должны следовать друг за другом.
  • 0

#5 hammer8

hammer8
  • Пользователь
  • 308 сообщений
  • Репутация: 31

Отправлено 06 Январь 2014 - 20:14

Деректива HOST должна идти сразу после disallow, да?


Директиву host, как и ссылку на карту обычно, для удобства прописывают в конце роботса. Это стандарт.
  • 1

#6 Kuchuluk

Kuchuluk
    Topic Starter
  • Пользователь
  • 315 сообщений
  • Репутация: 5

Отправлено 06 Январь 2014 - 20:19

hammer8, понял, спасибо!
  • 0

#7 Triniti_Wel

Triniti_Wel
  • Модератор
  • 429 сообщений
  • Репутация: 100

Отправлено 11 Январь 2014 - 21:48

Вопрос. Что это?
Sitemap: http://site.com/sitemap.xml.gz
И еще: принципиален ли пропуск строки после
Disallow: /*?*
Disallow: /*.php
перед адресом сайта?
  • 0

#8 hammer8

hammer8
  • Пользователь
  • 308 сообщений
  • Репутация: 31

Отправлено 11 Январь 2014 - 22:50

Sitemap: http://site.com/sitemap.xml.gz

Это карта сайта в формате xml.gz.

И еще: принципиален ли пропуск строки после

Не принципиально, но лично для меня удобно отделять строчкой robots для всех роботов и для Яндекса отдельно.

Сообщение отредактировал hammer8: 11 Январь 2014 - 22:50

  • 0

#9 Triniti_Wel

Triniti_Wel
  • Модератор
  • 429 сообщений
  • Репутация: 100

Отправлено 12 Январь 2014 - 10:52

Это карта сайта в формате xml.gz.

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти
  • 0

#10 BLIK

BLIK
  • Супермодератор
  • 3 189 сообщений
  • Репутация: 634

Отправлено 12 Январь 2014 - 13:49

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти

Если у вас сайт на WordPress, то нужно вам создать карту сайта и потом прописать в robots.txt такие же строчки
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

только имя сайта свое) А в помощь вам вот этот плагин http://wordpress.org...emap-generator/ и для наглядности еще и видео



( пускай видео пустова то, но для примера подойдет)

Сообщение отредактировал Sosnovskij: 12 Январь 2014 - 17:25

  • 1


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru