Перейти к содержимому


Пользователь месяца
Андрей WPMasterKZ Андрей WPMasterKZ 1-й за Ноябрь
Очков активности: 888 1 тема, 71 сообщение, 8 баллов репутации
Сайт: wpmaster.kz
ТОП самых активных за этот месяц
  • Фотография OlgaGetman
    #1

    OlgaGetman
    Очков активности: 454.5 4 темы, 89 сообщений, 3 балла репутации

  • Фотография Mandarin
    #2

    Mandarin
    Очков активности: 373.5 3 темы, 74 сообщения, 3 балла репутации

  • Фотография Андрей WPMasterKZ
    #3

    Андрей WPMasterKZ (wpmaster.kz)
    Очков активности: 111 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #4

    BLIK
    Очков активности: 102 0 тем, 17 сообщений, 4 балла репутации

  • Фотография TimurR
    #5

    TimurR
    Очков активности: 63 Вне конкурса за определение пользователя месяца

  • Фотография Rodiola
    #6

    Rodiola
    Очков активности: 42 1 тема, 11 сообщений, 2 балла репутации

  • Фотография thisismyname
    #7

    thisismyname
    Очков активности: 27 4 темы, 6 сообщений, 1 балл репутации

  • Фотография WGN
    #8

    WGN (worldgamenews.com)
    Очков активности: 27 Вне конкурса за определение пользователя месяца

  • Фотография pozitron123
    #9

    pozitron123
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография m3Re
    #10

    m3Re
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.11.2018
  • Яндекс выдача: 11.12.2018
Топ 5 участников по репутации


Правильный robot.txt какой?

#1 MashaJans

MashaJans
  • Пользователь
  • 27 сообщений
  • Репутация: 1
0

Отправлено 29 November 2016 - 14:05

Здравствуйте! Подскажите, у меня сайт на движке вордпресс и хочется узнать правильный ли этот robot.txt?

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: /mashajans.ru/
Sitemap: http://mashajans.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 4188 сообщений
  • Репутация: 953

Отправлено 29 November 2016 - 18:57

@MashaJans,Нет не совсем правильный.

 

Поле host указывается так

 

Host sait.ru

 

В целом стандарт для меня(без индивидуальных потребностей ) выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com
Sitemap: http://sait.com/sitemap.xml

  • 0


#3 Тарасов Роман

Тарасов Роман
  • Пользователь
  • 720 сообщений
  • Репутация: 150

Отправлено 29 November 2016 - 23:44

@MashaJans, Вам @BLIK, показал пример практически идеального robots.txt. К этому могу добавить, что в некоторых случаях может потребоваться вписывание и других странц, все зависит от вашего сайта и его структуры.

 

Посоветую в валидаторе Вебмастера поиграться с файлом, так быстрее поймете, как это работает.


  • 0

#4 MashaJans

MashaJans
    Topic Starter
  • Пользователь
  • 27 сообщений
  • Репутация: 1

Отправлено 30 November 2016 - 17:14

Спасибо большое, теперь понятно)


  • 1

#5 Napoleon-007

Napoleon-007
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 12 April 2017 - 12:00

User-agent: Yandex
 

А почему для Яндекса отдельно ? Он не принимает User-agent: * ? А Гугли тогда как ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#6 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3084 сообщений
  • Репутация: 850

Отправлено 12 April 2017 - 12:05

А почему для Яндекса отдельно ?
Директиву Host понимает только Яндекс. Поэтому для него готовят отдельный кусок пирога.

Если не будешь указывать Host (а надо бы), то можно сделать общие директивы.

 

Гоголь вполне нормально делит остальную часть, попадая под "звёздочку". =)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#7 BLIK

BLIK
  • Супермодератор
  • 4188 сообщений
  • Репутация: 953

Отправлено 12 April 2017 - 12:05

@Napoleon-007,Да, для Яндекс нужно отдельно, так как Яндексу еще и host нужно прописать.

 

А Гугли тогда как ?
Выше я писал пример файла. 

  • 0


#8 Napoleon-007

Napoleon-007
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 30 April 2017 - 08:11

Disallow: /wp-content/themes
 

В этот момент немного напрягает. В этой же папке находятся темы ? Зачем их блокировать ? У меня Гугл вебмастер показывает много важных заблокированных страниц из-за этого, хотя они в поиске. Правда Яндекс при этом себя намного лучше чувствует, особенно после сегодняшнего апа.


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#9 r0mZet

r0mZet
  • Модератор
  • 1254 сообщений
  • Репутация: 221

Отправлено 30 April 2017 - 08:35

Вариант от Жени Попова

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Crawl-delay: 5
Disallow: /tag
Host: site.ru

  • 0


#10 BLIK

BLIK
  • Супермодератор
  • 4188 сообщений
  • Репутация: 953

Отправлено 30 April 2017 - 13:40

В этой же папке находятся темы ? Зачем их блокировать ?
Я блокирую, чтобы лишнего в индекс не лезло. Проблем не вижу у себя.
  • 0


#11 Napoleon-007

Napoleon-007
  • Пользователь
  • 561 сообщений
  • Репутация: 19

Отправлено 01 May 2017 - 12:38

Проблем не вижу у себя.
 

А у меня вдруг Гугл для веб мастеров стал показывать 

 

Указанные ниже страницы используют ресурс, который заблокирован для робота Googlebot. Страницы могут быть проиндексированы с ошибками.

И к описанию этого сообщения написано (Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.( А во всех примерах советуют скрывать от индекса эти элементы. У меня они и заблокированы  http://aristov-aleksandr.ru > /wp-content/themes/Divi/includes/builder/styles/magnific_popup.css?ver=3.0.26 Может для Гугла стоит сделать отдельно, и разблокировать CSS Java  и т.д ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#12 BLIK

BLIK
  • Супермодератор
  • 4188 сообщений
  • Репутация: 953

Отправлено 01 May 2017 - 13:30

@Napoleon-007,Кто-то открывает некоторые файлы, я ничего не открывал, у меня тоже есть надпись, что не может получить доступ  к некоторым файлам 


  • 0


#13 IlnurGame

IlnurGame
  • Пользователь
  • 19 сообщений
  • Репутация: 0

Отправлено 03 July 2017 - 13:44

Такой вот роботс правильный? Спасибо!

 

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: есть но Скрыл*

User-agent: Yandex
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: proprsgames.ru
Sitemap: есть но Скрыл*


  • 0

robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru