Перейти к содержимому



Правильный robot.txt какой?

#1 MashaJans
MashaJans
  • Пользователь
  • 29 сообщений
  • Репутация: 1
0

Обновлено 03 июля 2017 - 13:44  Отправлено 29 ноября 2016 - 14:05

Здравствуйте! Подскажите, у меня сайт на движке вордпресс и хочется узнать правильный ли этот robot.txt?

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: /mashajans.ru/
Sitemap: http://mashajans.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

 

 

  • 0

#2 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 29 ноября 2016 - 18:57

@MashaJans,Нет не совсем правильный.

 

Поле host указывается так

 

Host sait.ru

 

В целом стандарт для меня(без индивидуальных потребностей ) выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com
Sitemap: http://sait.com/sitemap.xml

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Тарасов Роман
Тарасов Роман
  • Неактивные
  • 720 сообщений
  • Репутация: 150

Отправлено 29 ноября 2016 - 23:44

@MashaJans, Вам @BLIK, показал пример практически идеального robots.txt. К этому могу добавить, что в некоторых случаях может потребоваться вписывание и других странц, все зависит от вашего сайта и его структуры.

 

Посоветую в валидаторе Вебмастера поиграться с файлом, так быстрее поймете, как это работает.


  • 0

#4 MashaJans
MashaJans
    Topic Starter
  • Пользователь
  • 29 сообщений
  • Репутация: 1

Отправлено 30 ноября 2016 - 17:14

Спасибо большое, теперь понятно)


  • 1

#5 Napoleon-007
Napoleon-007
  • Пользователь
  • 598 сообщений
  • Репутация: 20

Отправлено 12 апреля 2017 - 12:00

User-agent: Yandex
 

А почему для Яндекса отдельно ? Он не принимает User-agent: * ? А Гугли тогда как ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#6 ShowPrint
ShowPrint
  • Пользователь PRO
  • 3 406 сообщений
  • Репутация: 1001

Отправлено 12 апреля 2017 - 12:05

А почему для Яндекса отдельно ?
Директиву Host понимает только Яндекс. Поэтому для него готовят отдельный кусок пирога.

Если не будешь указывать Host (а надо бы), то можно сделать общие директивы.

 

Гоголь вполне нормально делит остальную часть, попадая под "звёздочку". =)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#7 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 12 апреля 2017 - 12:05

@Napoleon-007,Да, для Яндекс нужно отдельно, так как Яндексу еще и host нужно прописать.

 

А Гугли тогда как ?
Выше я писал пример файла. 

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#8 Napoleon-007
Napoleon-007
  • Пользователь
  • 598 сообщений
  • Репутация: 20

Отправлено 30 апреля 2017 - 08:11

Disallow: /wp-content/themes
 

В этот момент немного напрягает. В этой же папке находятся темы ? Зачем их блокировать ? У меня Гугл вебмастер показывает много важных заблокированных страниц из-за этого, хотя они в поиске. Правда Яндекс при этом себя намного лучше чувствует, особенно после сегодняшнего апа.


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#9 r0mZet
r0mZet
  • Модератор
  • 1 438 сообщений
  • Репутация: 278

Отправлено 30 апреля 2017 - 08:35

Вариант от Жени Попова

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Crawl-delay: 5
Disallow: /tag
Host: site.ru

  • 0

Ссылки покупаю только здесь :)



#10 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 30 апреля 2017 - 13:40

В этой же папке находятся темы ? Зачем их блокировать ?
Я блокирую, чтобы лишнего в индекс не лезло. Проблем не вижу у себя.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#11 Napoleon-007
Napoleon-007
  • Пользователь
  • 598 сообщений
  • Репутация: 20

Отправлено 01 мая 2017 - 12:38

Проблем не вижу у себя.
 

А у меня вдруг Гугл для веб мастеров стал показывать 

 

Указанные ниже страницы используют ресурс, который заблокирован для робота Googlebot. Страницы могут быть проиндексированы с ошибками.

И к описанию этого сообщения написано (Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.( А во всех примерах советуют скрывать от индекса эти элементы. У меня они и заблокированы  http://aristov-aleksandr.ru > /wp-content/themes/Divi/includes/builder/styles/magnific_popup.css?ver=3.0.26 Может для Гугла стоит сделать отдельно, и разблокировать CSS Java  и т.д ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#12 BLIK
BLIK
  • Супермодератор
  • 4 681 сообщений
  • Репутация: 1072

Отправлено 01 мая 2017 - 13:30

@Napoleon-007,Кто-то открывает некоторые файлы, я ничего не открывал, у меня тоже есть надпись, что не может получить доступ  к некоторым файлам 


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#13 IlnurGame
IlnurGame
  • Пользователь
  • 19 сообщений
  • Репутация: 0

Отправлено 03 июля 2017 - 13:44

Такой вот роботс правильный? Спасибо!

 

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: есть но Скрыл*

User-agent: Yandex
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: proprsgames.ru
Sitemap: есть но Скрыл*


  • 0

robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
Vmir Vmir 1-й за Март
Очков активности: 1 080 4 темы, 60 сообщений, 10 баллов репутации
ТОП самых активных за этот месяц
  • Фотография Albina92
    #1

    Albina92
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография MattCutts
    #2

    MattCutts (dmitrylee.com)
    Очков активности: 9 0 тем, 6 сообщений, 1 балл репутации

  • Фотография NataliaAntalia
    #3

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 9 0 тем, 6 сообщений, 1 балл репутации

  • Фотография PLERDY
    #4

    PLERDY
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография WGN
    #5

    WGN (worldgamenews.com)
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография TindrumGM
    #6

    TindrumGM (novosti-land.ru)
    Очков активности: 7.5 1 тема, 2 сообщения, 1 балл репутации

  • Фотография pozitron123
    #7

    pozitron123
    Очков активности: 6 1 тема, 1 сообщение, 1 балл репутации

  • Фотография Maks02
    #8

    Maks02
    Очков активности: 4.5 1 тема, 0 сообщений, 1 балл репутации

  • Фотография FIvYUr
    #9

    FIvYUr (moy-evroopt.ru)
    Очков активности: 4.5 Вне конкурса за определение пользователя месяца

  • Фотография Nijest
    #10

    Nijest
    Очков активности: 4.5 1 тема, 0 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Поддержите форум! =)
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru