Перейти к содержимому


× Быстрый вопрос
Пользователь месяца
Olya23 Olya23 1-й за Июнь
Очков активности: 1 278 3 темы, 133 сообщения, 6 баллов репутации
ТОП самых активных за этот месяц
  • Фотография web-coder
    #1

    web-coder (good-hoster.ru)
    Очков активности: 999 0 тем, 74 сообщения, 9 баллов репутации

  • Фотография Андрей WPMasterKZ
    #2

    Андрей WPMasterKZ (wpmaster.kz)
    Очков активности: 556.5 2 темы, 47 сообщений, 7 баллов репутации

  • Фотография Rodiola
    #3

    Rodiola (rukodelkovo.ru)
    Очков активности: 243 1 тема, 78 сообщений, 2 балла репутации

  • Фотография Megoydagi
    #4

    Megoydagi (24ho.ru)
    Очков активности: 126 3 темы, 12 сообщений, 4 балла репутации

  • Фотография maxnik
    #5

    maxnik (konovalovpavel.ru)
    Очков активности: 112.5 0 тем, 25 сообщений, 3 балла репутации

  • Фотография FIvYUr
    #6

    FIvYUr (moy-evroopt.ru)
    Очков активности: 108 1 тема, 33 сообщения, 2 балла репутации

  • Фотография BLIK
    #7

    BLIK
    Очков активности: 84 Вне конкурса за определение пользователя месяца

  • Фотография lena220678
    #8

    lena220678
    Очков активности: 60 3 темы, 31 сообщение, 1 балл репутации

  • Фотография Olya23
    #9

    Olya23
    Очков активности: 45 Вне конкурса за определение пользователя месяца

  • Фотография katti8907
    #10

    katti8907
    Очков активности: 30 3 темы, 11 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 25.06.2019
  • Яндекс выдача: 21.07.2019
Топ 5 участников по репутации


Правильный robot.txt какой?

#1 MashaJans

MashaJans
  • Пользователь
  • 29 сообщений
  • Репутация: 1
0

Отправлено 29 Ноябрь 2016 - 14:05

Здравствуйте! Подскажите, у меня сайт на движке вордпресс и хочется узнать правильный ли этот robot.txt?

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: /mashajans.ru/
Sitemap: http://mashajans.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/

 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 4 444 сообщений
  • Репутация: 1013

Отправлено 29 Ноябрь 2016 - 18:57

@MashaJans,Нет не совсем правильный.

 

Поле host указывается так

 

Host sait.ru

 

В целом стандарт для меня(без индивидуальных потребностей ) выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com
Sitemap: http://sait.com/sitemap.xml

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#3 Тарасов Роман

Тарасов Роман
  • Неактивные
  • 720 сообщений
  • Репутация: 150

Отправлено 29 Ноябрь 2016 - 23:44

@MashaJans, Вам @BLIK, показал пример практически идеального robots.txt. К этому могу добавить, что в некоторых случаях может потребоваться вписывание и других странц, все зависит от вашего сайта и его структуры.

 

Посоветую в валидаторе Вебмастера поиграться с файлом, так быстрее поймете, как это работает.


  • 0

#4 MashaJans

MashaJans
    Topic Starter
  • Пользователь
  • 29 сообщений
  • Репутация: 1

Отправлено 30 Ноябрь 2016 - 17:14

Спасибо большое, теперь понятно)


  • 1

#5 Napoleon-007

Napoleon-007
  • Пользователь
  • 596 сообщений
  • Репутация: 20

Отправлено 12 Апрель 2017 - 12:00

User-agent: Yandex
 

А почему для Яндекса отдельно ? Он не принимает User-agent: * ? А Гугли тогда как ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#6 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3 318 сообщений
  • Репутация: 933

Отправлено 12 Апрель 2017 - 12:05

А почему для Яндекса отдельно ?
Директиву Host понимает только Яндекс. Поэтому для него готовят отдельный кусок пирога.

Если не будешь указывать Host (а надо бы), то можно сделать общие директивы.

 

Гоголь вполне нормально делит остальную часть, попадая под "звёздочку". =)


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#7 BLIK

BLIK
  • Супермодератор
  • 4 444 сообщений
  • Репутация: 1013

Отправлено 12 Апрель 2017 - 12:05

@Napoleon-007,Да, для Яндекс нужно отдельно, так как Яндексу еще и host нужно прописать.

 

А Гугли тогда как ?
Выше я писал пример файла. 

  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#8 Napoleon-007

Napoleon-007
  • Пользователь
  • 596 сообщений
  • Репутация: 20

Отправлено 30 Апрель 2017 - 08:11

Disallow: /wp-content/themes
 

В этот момент немного напрягает. В этой же папке находятся темы ? Зачем их блокировать ? У меня Гугл вебмастер показывает много важных заблокированных страниц из-за этого, хотя они в поиске. Правда Яндекс при этом себя намного лучше чувствует, особенно после сегодняшнего апа.


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#9 r0mZet

r0mZet
  • Модератор
  • 1 372 сообщений
  • Репутация: 254

Отправлено 30 Апрель 2017 - 08:35

Вариант от Жени Попова

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
Crawl-delay: 5
Disallow: /tag
Host: site.ru

  • 0


#10 BLIK

BLIK
  • Супермодератор
  • 4 444 сообщений
  • Репутация: 1013

Отправлено 30 Апрель 2017 - 13:40

В этой же папке находятся темы ? Зачем их блокировать ?
Я блокирую, чтобы лишнего в индекс не лезло. Проблем не вижу у себя.
  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#11 Napoleon-007

Napoleon-007
  • Пользователь
  • 596 сообщений
  • Репутация: 20

Отправлено 01 Май 2017 - 12:38

Проблем не вижу у себя.
 

А у меня вдруг Гугл для веб мастеров стал показывать 

 

Указанные ниже страницы используют ресурс, который заблокирован для робота Googlebot. Страницы могут быть проиндексированы с ошибками.

И к описанию этого сообщения написано (Чтобы правильно обработать и индексировать вашу страницу, роботу Google необходим доступ к ее ресурсам – файлам JavaScript и CSS, изображениям и т. д.( А во всех примерах советуют скрывать от индекса эти элементы. У меня они и заблокированы  http://aristov-aleksandr.ru > /wp-content/themes/Divi/includes/builder/styles/magnific_popup.css?ver=3.0.26 Может для Гугла стоит сделать отдельно, и разблокировать CSS Java  и т.д ?


  • 0

Я нормальный !!! :blink:   Мой сайт Фотограф



#12 BLIK

BLIK
  • Супермодератор
  • 4 444 сообщений
  • Репутация: 1013

Отправлено 01 Май 2017 - 13:30

@Napoleon-007,Кто-то открывает некоторые файлы, я ничего не открывал, у меня тоже есть надпись, что не может получить доступ  к некоторым файлам 


  • 0

Качественный хостинг   Тут может быть ваша ссылка.



#13 IlnurGame

IlnurGame
  • Неактивные
  • 19 сообщений
  • Репутация: 0

Отправлено 03 Июль 2017 - 13:44

Такой вот роботс правильный? Спасибо!

 

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Sitemap: есть но Скрыл*

User-agent: Yandex
Allow: /wp-content/uploads/
Allow: /www/proprsgames.ru
Disallow: /wp-
Disallow: /xmlrpc.php
Disallow: /category/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: proprsgames.ru
Sitemap: есть но Скрыл*


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru