Перейти к содержимому



Корректность файла robots.txt

#1 Kuchuluk
Kuchuluk
  • Неактивные
  • 333 сообщений
  • Репутация: 5
0

Обновлено 13 января 2014 - 09:32  Отправлено 06 января 2014 - 16:55

файл robots.txt таким образом правильно написан?
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Host: domen.com
Sitemap: http://domen.com/sitemap.xml

 

 

  • 0

#2 Sosnovskij
Sosnovskij
  • Пользователь PRO
  • 5 463 сообщений
  • Репутация: 837

Отправлено 06 января 2014 - 17:10

Да, но корректность условий disallow определяется поставленными задачами :)
  • 0

Блог — https://sosnovskij.ru/. Добавить меня в TelegramМАГАЗИН MASTERWEBS И ПОЛЬЗОВАТЕЛЬ МЕСЯЦА ВРЕМЕННО НЕ РАБОТАЮТ.



#3 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 06 января 2014 - 18:39

Для движка WordPress я использую следующий robots.txt. Думаю он подойдет для большинства блогов.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /category/
Disallow: /author/
Disallow: /page/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Host: http://site.com
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

файл robots.txt таким образом правильно написан?


Этот первоначальный robots.txt, ошибок в нем нет.
  • 0

#4 Kuchuluk
Kuchuluk
    Topic Starter
  • Неактивные
  • 333 сообщений
  • Репутация: 5

Отправлено 06 января 2014 - 19:53

корректность условий disallow определяется поставленными задачами

меня вообще не disallow больше интересует, а главное зеркало. Деректива HOST должна идти сразу после disallow, да?

Для движка WordPress я использую следующий robots.txt.

у меня на фреймворке сайт, поэтом мне там особо больше закрывать то и нечего...

Вообще, какая последовательность деректив друг за другом? Вот на этот вопрос нигде внятного ответа нет. В помощи яндекса для вебмастеров даже не указано конкретно в какой последовательности они должны следовать друг за другом.
  • 0

#5 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 06 января 2014 - 20:14

Деректива HOST должна идти сразу после disallow, да?


Директиву host, как и ссылку на карту обычно, для удобства прописывают в конце роботса. Это стандарт.
  • 1

#6 Kuchuluk
Kuchuluk
    Topic Starter
  • Неактивные
  • 333 сообщений
  • Репутация: 5

Отправлено 06 января 2014 - 20:19

hammer8, понял, спасибо!
  • 0

#7 Triniti_Wel
Triniti_Wel
  • Модератор
  • 482 сообщений
  • Репутация: 151

Отправлено 11 января 2014 - 21:48

Вопрос. Что это?
Sitemap: http://site.com/sitemap.xml.gz
И еще: принципиален ли пропуск строки после
Disallow: /*?*
Disallow: /*.php
перед адресом сайта?
  • 0

#8 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 11 января 2014 - 22:50

Sitemap: http://site.com/sitemap.xml.gz

Это карта сайта в формате xml.gz.

И еще: принципиален ли пропуск строки после

Не принципиально, но лично для меня удобно отделять строчкой robots для всех роботов и для Яндекса отдельно.

Сообщение отредактировал hammer8: 11 января 2014 - 22:50

  • 0

#9 Triniti_Wel
Triniti_Wel
  • Модератор
  • 482 сообщений
  • Репутация: 151

Отправлено 12 января 2014 - 10:52

Это карта сайта в формате xml.gz.

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти
  • 0

#10 BLIK
BLIK
  • Супермодератор
  • 4 748 сообщений
  • Репутация: 1080

Отправлено 12 января 2014 - 13:49

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти

Если у вас сайт на WordPress, то нужно вам создать карту сайта и потом прописать в robots.txt такие же строчки
Sitemap: http://site.com/sitemap.xml
Sitemap: http://site.com/sitemap.xml.gz

только имя сайта свое) А в помощь вам вот этот плагин http://wordpress.org...emap-generator/ и для наглядности еще и видео



( пускай видео пустова то, но для примера подойдет)

Сообщение отредактировал Sosnovskij: 12 января 2014 - 17:25

  • 1

Качественный хостинг   Тут может быть ваша ссылка.



#11 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 12 января 2014 - 16:53

Это я поняла, просто не знаю, как она делается и у себя не могу ее найти


Если у вас не WP, то можно создать вручную на сервисе xml-sitemaps.com и потом загрузить в корень сайта.
А вот если WP, то будет удобнее использовать плагин, как и сказал BLIK выше. Я пользуюсь Google XML Sitemaps от разработчика Arne Brachhold. 2 клика и карта создана.

Сообщение отредактировал hammer8: 12 января 2014 - 16:58

  • 0

#12 Triniti_Wel
Triniti_Wel
  • Модератор
  • 482 сообщений
  • Репутация: 151

Отправлено 12 января 2014 - 21:13

Плагин есть и карта есть и эта Sitemap: http://site.com/sitemap.xml страница есть. Она открывается.
А вот эту не могу найти : Sitemap: http://site.com/sitemap.xml.gz

Я пользуюсь Google XML Sitemaps от разработчика Arne Brachhold. 2 клика и карта создана.

У меня этот же плагин.. Но опять же.. вторая ссыль с xml.gz не открывается..
Потому в роботс я ее не добавляла.. Или нужно добавить все равно?
  • 0

#13 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 12 января 2014 - 21:30

Вот какая должна быть карта http://seomaksimum.com/sitemap.xml.gz

Поставили в настройках галочки?
Файлы карты сайта:
Записать обычный XML файл (Ваше имя файла)
Записать запакованный XML файл (Ваше имя файла + .gz)

Сообщение отредактировал hammer8: 12 января 2014 - 21:32

  • 0

#14 Kuchuluk
Kuchuluk
    Topic Starter
  • Неактивные
  • 333 сообщений
  • Репутация: 5

Отправлено 12 января 2014 - 22:05

Потому в роботс я ее не добавляла.. Или нужно добавить все равно?

да обычного xml достаточно.
  • 0

#15 hammer8
hammer8
  • Пользователь
  • 336 сообщений
  • Репутация: 31

Отправлено 12 января 2014 - 22:18

да обычного xml достаточно.


Но если добавить и карту с xml.gz, хуже не будет.
  • 0

#16 BLIK
BLIK
  • Супермодератор
  • 4 748 сообщений
  • Репутация: 1080

Отправлено 13 января 2014 - 00:08

Плагин есть и карта есть и эта Sitemap: http://site.com/sitemap.xml страница есть. Она открывается.
А вот эту не могу найти : Sitemap: http://site.com/sitemap.xml.gz

Вы и не откроете эту ссылку Sitemap: http://site.com/sitemap.xml.gz , так как после установки плагина у вас в корне сайта создается архив.Как раз с таким адресом Sitemap: http://site.com/sitemap.xml.gz. Просто пропишите и все. Вот пример на фото корень сайта карта и архив.

Прикрепленные изображения

  • Site.png

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#17 Triniti_Wel
Triniti_Wel
  • Модератор
  • 482 сообщений
  • Репутация: 151

Отправлено 13 января 2014 - 09:32

Спасибо. Глянула в корень - такой файлик у меня тоже есть. Спасибо.
  • 0

robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
Megoydagi Megoydagi 1-й за Август
Очков активности: 30 4 темы, 8 сообщений, 1 балл репутации
Сайт: bank.net.ru
ТОП самых активных за этот месяц
  • Фотография Vmir
    #1

    Vmir
    Очков активности: 22.5 3 темы, 6 сообщений, 1 балл репутации

  • Фотография kuztoday
    #2

    kuztoday
    Очков активности: 10.5 1 тема, 4 сообщения, 1 балл репутации

  • Фотография Megoydagi
    #3

    Megoydagi (bank.net.ru)
    Очков активности: 9 Вне конкурса за определение пользователя месяца

  • Фотография mkreine
    #4

    mkreine (analiz-krovi.net)
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография kolver
    #5

    kolver
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография Totti
    #6

    Totti
    Очков активности: 7.5 0 тем, 5 сообщений, 1 балл репутации

  • Фотография BLIK
    #7

    BLIK
    Очков активности: 7.5 Вне конкурса за определение пользователя месяца

  • Фотография SergiuS85
    #8

    SergiuS85
    Очков активности: 6 1 тема, 1 сообщение, 1 балл репутации

  • Фотография fedornabilkin
    #9

    fedornabilkin (plohoneponyal.ru)
    Очков активности: 6 1 тема, 1 сообщение, 1 балл репутации

  • Фотография wp01
    #10

    wp01
    Очков активности: 6 0 тем, 4 сообщения, 1 балл репутации

  • Показать весь ТОП 10

Поддержите форум! =)
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru