Перейти к содержимому



Корректность файла robots.txt

#1

Поделиться сообщением #1



Kuchuluk

Kuchuluk
  • Пользователь
  • 320 сообщений
  • Репутация: 5
0

Отправлено 06 Январь 2014 - 16:55

файл robots.txt таким образом правильно написан?
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Host: domen.com
Sitemap: http://domen.com/sitemap.xml

 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Robots.txt - что такое и как им правильно пользоваться
  2. Правильный ROBOTS.TXT для Битрикса
  3. Корректность robots.txt для wordpress
  4. Вопросы по корректному составлению robots.txt
  5. Небольшая настройка robots.txt

#2

Поделиться сообщением #2



Sosnovskij

Sosnovskij
  • Администратор
  • 4 140 сообщений
  • Репутация: 622

Отправлено 06 Январь 2014 - 17:10

Да, но корректность условий disallow определяется поставленными задачами :)
  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#3

Поделиться сообщением #3



hammer8

hammer8
  • Пользователь
  • 321 сообщений
  • Репутация: 31

Отправлено 06 Январь 2014 - 18:39

Для движка WordPress я использую следующий robots.txt. Думаю он подойдет для большинства блогов.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: http://site.com
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

файл robots.txt таким образом правильно написан?


Этот первоначальный robots.txt, ошибок в нем нет.
  • 0

#4

Поделиться сообщением #4



Kuchuluk

Kuchuluk
    Topic Starter
  • Пользователь
  • 320 сообщений
  • Репутация: 5

Отправлено 06 Январь 2014 - 19:53

корректность условий disallow определяется поставленными задачами

меня вообще не disallow больше интересует, а главное зеркало. Деректива HOST должна идти сразу после disallow, да?

Для движка WordPress я использую следующий robots.txt.

у меня на фреймворке сайт, поэтом мне там особо больше закрывать то и нечего...

Вообще, какая последовательность деректив друг за другом? Вот на этот вопрос нигде внятного ответа нет. В помощи яндекса для вебмастеров даже не указано конкретно в какой последовательности они должны следовать друг за другом.
  • 0

#5

Поделиться сообщением #5



hammer8

hammer8
  • Пользователь
  • 321 сообщений
  • Репутация: 31

Отправлено 06 Январь 2014 - 20:14

Деректива HOST должна идти сразу после disallow, да?


Директиву host, как и ссылку на карту обычно, для удобства прописывают в конце роботса. Это стандарт.
  • 1

#6

Поделиться сообщением #6



Kuchuluk

Kuchuluk
    Topic Starter
  • Пользователь
  • 320 сообщений
  • Репутация: 5

Отправлено 06 Январь 2014 - 20:19

hammer8, понял, спасибо!
  • 0

#7

Поделиться сообщением #7



Triniti_Wel

Triniti_Wel
  • Модератор
  • 447 сообщений
  • Репутация: 132

Отправлено 11 Январь 2014 - 21:48

Вопрос. Что это?
Sitemap: http://site.com/sitemap.xml.gz
И еще: принципиален ли пропуск строки после
Disallow: /*?*
Disallow: /*.php
перед адресом сайта?
  • 0

#8

Поделиться сообщением #8



hammer8

hammer8
  • Пользователь
  • 321 сообщений
  • Репутация: 31

Отправлено 11 Январь 2014 - 22:50

Sitemap: http://site.com/sitemap.xml.gz

Это карта сайта в формате xml.gz.

И еще: принципиален ли пропуск строки после

Не принципиально, но лично для меня удобно отделять строчкой robots для всех роботов и для Яндекса отдельно.

Сообщение отредактировал hammer8: 11 Январь 2014 - 22:50

  • 0

#9

Поделиться сообщением #9



Triniti_Wel

Triniti_Wel
  • Модератор
  • 447 сообщений
  • Репутация: 132

Отправлено 12 Январь 2014 - 10:52

Это карта сайта в формате xml.gz.

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти
  • 0

#10

Поделиться сообщением #10



BLIK

BLIK
  • Супермодератор
  • 3 649 сообщений
  • Репутация: 784

Отправлено 12 Январь 2014 - 13:49

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти

Если у вас сайт на WordPress, то нужно вам создать карту сайта и потом прописать в robots.txt такие же строчки
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

только имя сайта свое) А в помощь вам вот этот плагин http://wordpress.org...emap-generator/ и для наглядности еще и видео



( пускай видео пустова то, но для примера подойдет)

Сообщение отредактировал Sosnovskij: 12 Январь 2014 - 17:25

  • 1

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru