Перейти к содержимому


Пользователь месяца
magnet magnet 1-й за Январь
Очков активности: 621 0 тем, 69 сообщений, 6 баллов репутации
Сайт: rbfxdirect.com
ТОП самых активных за этот месяц
  • Фотография OlgaGetman
    #1

    OlgaGetman
    Очков активности: 846 Вне конкурса за определение пользователя месяца

  • Фотография ShowPrint
    #2

    ShowPrint (ShowPrint.ru)
    Очков активности: 556.5 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #3

    BLIK
    Очков активности: 472.5 0 тем, 35 сообщений, 9 баллов репутации

  • Фотография Андрей WPMasterKZ
    #4

    Андрей WPMasterKZ (wpmaster.kz)
    Очков активности: 432 Вне конкурса за определение пользователя месяца

  • Фотография Ixman
    #5

    Ixman (o5cat.ru)
    Очков активности: 333 Вне конкурса за определение пользователя месяца

  • Фотография Mandarin
    #6

    Mandarin
    Очков активности: 217.5 0 тем, 29 сообщений, 5 баллов репутации

  • Фотография r0mZet
    #7

    r0mZet (rz-style.ru)
    Очков активности: 102 0 тем, 17 сообщений, 4 балла репутации

  • Фотография magnet
    #8

    magnet (rbfxdirect.com)
    Очков активности: 46.5 Вне конкурса за определение пользователя месяца

  • Фотография WGN
    #9

    WGN (worldgamenews.com)
    Очков активности: 42 0 тем, 28 сообщений, 1 балл репутации

  • Фотография player09
    #10

    player09
    Очков активности: 42 4 темы, 16 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Новый Teasernet

Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 25.12.2018
  • Яндекс выдача: 19.02.2019
Топ 5 участников по репутации


Правильный robot.txt какой?

#1 MashaJans

MashaJans
  • Пользователь
  • 27 сообщений
  • Репутация: 1
0

Отправлено 29 November 2016 - 14:05

Здравствуйте! Подскажите, у меня сайт на движке вордпресс и хочется узнать правильный ли этот robot.txt?

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: /mashajans.ru/
Sitemap: http://mashajans.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 4278 сообщений
  • Репутация: 980

Отправлено 29 November 2016 - 18:57

@MashaJans,Нет не совсем правильный.

 

Поле host указывается так

 

Host sait.ru

 

В целом стандарт для меня(без индивидуальных потребностей ) выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com
Sitemap: http://sait.com/sitemap.xml

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Тарасов Роман

Тарасов Роман
  • Пользователь
  • 720 сообщений
  • Репутация: 150

Отправлено 29 November 2016 - 23:44

@MashaJans, Вам @BLIK, показал пример практически идеального robots.txt. К этому могу добавить, что в некоторых случаях может потребоваться вписывание и других странц, все зависит от вашего сайта и его структуры.

 

Посоветую в валидаторе Вебмастера поиграться с файлом, так быстрее поймете, как это работает.


  • 0

#4 MashaJans

MashaJans
    Topic Starter
  • Пользователь
  • 27 сообщений
  • Репутация: 1

Отправлено 30 November 2016 - 17:14

Спасибо большое, теперь понятно)


  • 1

#5 Napoleon-007

Napoleon-007
  • Пользователь
  • 592 сообщений
  • Репутация: 20

Отправлено 12 April 2017 - 12:00

User-agent: Yandex
 

А почему для Яндекса отдельно ? Он не принимает User-agent: * ? А Гугли тогда как ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#6 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3186 сообщений
  • Репутация: 882

Отправлено 12 April 2017 - 12:05

А почему для Яндекса отдельно ?
Директиву Host понимает только Яндекс. Поэтому для него готовят отдельный кусок пирога.

Если не будешь указывать Host (а надо бы), то можно сделать общие директивы.

 

Гоголь вполне нормально делит остальную часть, попадая под "звёздочку". =)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#7 BLIK

BLIK
  • Супермодератор
  • 4278 сообщений
  • Репутация: 980

Отправлено 12 April 2017 - 12:05

@Napoleon-007,Да, для Яндекс нужно отдельно, так как Яндексу еще и host нужно прописать.

 

А Гугли тогда как ?
Выше я писал пример файла. 

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#8 Napoleon-007

Napoleon-007
  • Пользователь
  • 592 сообщений
  • Репутация: 20

Отправлено 30 April 2017 - 08:11

Disallow: /wp-content/themes
 

В этот момент немного напрягает. В этой же папке находятся темы ? Зачем их блокировать ? У меня Гугл вебмастер показывает много важных заблокированных страниц из-за этого, хотя они в поиске. Правда Яндекс при этом себя намного лучше чувствует, особенно после сегодняшнего апа.


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#9 r0mZet

r0mZet
  • Модератор
  • 1300 сообщений
  • Репутация: 234

Отправлено 30 April 2017 - 08:35

Вариант от Жени Попова

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Crawl-delay: 5
Disallow: /tag
Host: site.ru

  • 0


#10 BLIK

BLIK
  • Супермодератор
  • 4278 сообщений
  • Репутация: 980

Отправлено 30 April 2017 - 13:40

В этой же папке находятся темы ? Зачем их блокировать ?
Я блокирую, чтобы лишнего в индекс не лезло. Проблем не вижу у себя.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#11 Napoleon-007

Napoleon-007
  • Пользователь
  • 592 сообщений
  • Репутация: 20

Отправлено 01 May 2017 - 12:38

Проблем не вижу у себя.
 

А у меня вдруг Гугл для веб мастеров стал показывать 

 

Указанные ниже страницы используют ресурс, который заблокирован для робота Googlebot. Страницы могут быть проиндексированы с ошибками.

И к описанию этого сообщения написано (Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.( А во всех примерах советуют скрывать от индекса эти элементы. У меня они и заблокированы  http://aristov-aleksandr.ru > /wp-content/themes/Divi/includes/builder/styles/magnific_popup.css?ver=3.0.26 Может для Гугла стоит сделать отдельно, и разблокировать CSS Java  и т.д ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#12 BLIK

BLIK
  • Супермодератор
  • 4278 сообщений
  • Репутация: 980

Отправлено 01 May 2017 - 13:30

@Napoleon-007,Кто-то открывает некоторые файлы, я ничего не открывал, у меня тоже есть надпись, что не может получить доступ  к некоторым файлам 


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#13 IlnurGame

IlnurGame
  • Пользователь
  • 19 сообщений
  • Репутация: 0

Отправлено 03 July 2017 - 13:44

Такой вот роботс правильный? Спасибо!

 

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: есть но Скрыл*

User-agent: Yandex
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: proprsgames.ru
Sitemap: есть но Скрыл*


  • 0

robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru