Перейти к содержимому



Составление файла robots.txt

#1

Поделиться сообщением #1



climbing

climbing
  • Пользователь
  • 40 сообщений
  • Репутация: 0
0

Отправлено 26 Январь 2017 - 00:58

Привет всем.

 

У меня есть сомнения на счет моих файлов robots.txt.

 

Первый музыкального блога.

User-agent: Mediapartners-Google 
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Host: recordmusik.ru

Sitemap: https://recordmusik.ru/sitemap.xml.gz
Sitemap: https://recordmusik.ru/sitemap.xml

Второй компьютерного

User-agent: Mediapartners-Google 
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Host: moicom.ru

Sitemap: https://moicom.ru/sitemap.xml.gz
Sitemap: https://moicom.ru/sitemap.xml

Подскажите пожалуйста, правильно ли они составлены или нет, может нужно что-то добавить или убрать?

Сайты небольшие менее 100 страниц.

 

Заранее благодарен за любую помощь.


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Robots.txt - что такое и как им правильно пользоваться
  2. Вопросы по корректному составлению robots.txt
  3. Небольшая настройка robots.txt
  4. В какой дериктории должен находиться файл robots.txt
  5. Правильный robots.txt

#2

Поделиться сообщением #2



BLIK

BLIK
  • Супермодератор
  • 3 733 сообщений
  • Репутация: 812

Отправлено 26 Январь 2017 - 01:20

@climbing,Не знаю зачем у вас эти строки

Disallow: /wp-login.php
Disallow: /wp-register.php 

И потом не понимаю, почему у вас в начале есть строка

Disallow:

Потом, не совсем понятно, у вас в ссылках на карту сайта протокол указан https а host указан без?

 

Если сайт работает по https то и host должен быть

пример

Host: https://recordmusik.ru

Сообщение отредактировал BLIK: 26 Январь 2017 - 01:20

  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#3

Поделиться сообщением #3



climbing

climbing
    Topic Starter
  • Пользователь
  • 40 сообщений
  • Репутация: 0

Отправлено 26 Январь 2017 - 02:02

@BLIK,

Здравствуйте.

 

Я недавно перешел на https, поэтому еще не знаю всех его тонкостей.

 

Просто я думал, что в хосте прописывается имя сайта без протоколов www, http и https, но я могу и ошибаться.

 

Если нужно, то я могу убрать эти три строчки с Дизалоу.


  • 0

#4

Поделиться сообщением #4



BLIK

BLIK
  • Супермодератор
  • 3 733 сообщений
  • Репутация: 812

Отправлено 26 Январь 2017 - 02:17

@climbing,Да, поправьте строчку host и пропишите полный url с протоколом но без слеша на конце.(как я пример приводил)

 

По строчке 

Disallow:

ее тоже убрать нужно, она не к чему.

 

Вот мой пример robots

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

Host: https://site.ru

Sitemap: https://site.ru/sitemap.xml.gz
Sitemap: https://site.ru/sitemap.xml

В моем примере не закрыты комментарии, так как у меня на сайте они выключены.

 

По этому, если вам нужно что-то дополнительно закрыть, то допишите строчки.

 

Если в чем то сомневаетесь и не знаете, то оптимально будет открыть сайты популярных блогеров и посмотреть ихние файлы(но и копировать тоже их не стоит, так как доп строки индивидуальны для каждого сайта)


  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#5

Поделиться сообщением #5



climbing

climbing
    Topic Starter
  • Пользователь
  • 40 сообщений
  • Репутация: 0

Отправлено 26 Январь 2017 - 17:24

@BLIK,

 

Здравствуйте.

 

Если я укажу директиву хост https://recordmusik.ru, то индексироваться будет только он.

А как же обычный сайт http://recordmusik.ru, он получается индексироваться не будет, ведь трафик идет с них обоих? 


Disallow: /page/

 

Получается page - страницы сайта не будут индексироваться, или я не правильно понимаю?


Сообщение отредактировал climbing: 26 Январь 2017 - 17:21

  • 0

#6

Поделиться сообщением #6



BLIK

BLIK
  • Супермодератор
  • 3 733 сообщений
  • Репутация: 812

Отправлено 26 Январь 2017 - 17:27

@climbing,Здравствуйте. Сайт должен открываться и индексироваться по одному адресу или по http или по https, в противном случае это дубли, если сайт отрывается по всем адресам. 

 

После установки сертификата, нужно добавлять новую версию сайта в кабинеты вебмастера, а в Яндексе на старом сайте еще и указать переезд на https протокол, ну и естественно ставить редиректы.

Получается page

Вы можете убрать данные строки.

У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д. 


  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#7

Поделиться сообщением #7



climbing

climbing
    Topic Starter
  • Пользователь
  • 40 сообщений
  • Репутация: 0

Отправлено 26 Январь 2017 - 17:30

У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д.

 

Спасибо, но у меня на этих страницах разный контент, разве его не нужно индексировать, или он один раз проиндексировался и можно его больше не индексировать? 


  • 0

#8

Поделиться сообщением #8



BLIK

BLIK
  • Супермодератор
  • 3 733 сообщений
  • Репутация: 812

Отправлено 26 Январь 2017 - 17:35

@climbing,Не могу сказать, не знаю ваших целей, у меня индексируются только полные страницы, а привью(разные выдержки других страницы), на страницах с пагинацией не индексируются.

 

В целом, я уже выше писал все индивидуально, у меня индексируются только полные страницы, все остальное закрыто.


  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



#9

Поделиться сообщением #9



climbing

climbing
    Topic Starter
  • Пользователь
  • 40 сообщений
  • Репутация: 0

Отправлено 26 Январь 2017 - 17:41

Хорошо. Что можете сказать на счет соплей - Replytocom?


  • 0

#10

Поделиться сообщением #10



BLIK

BLIK
  • Супермодератор
  • 3 733 сообщений
  • Репутация: 812

Отправлено 26 Январь 2017 - 17:56

Что можете сказать на счет соплей - Replytocom?

Ничего не могу сказать и не разу не видел, чтобы подобная строка у кого-то была в robots 

Скорее всего потому, что и в seo плагинах есть некоторые настройки по закрытию "лишнего"


  • 0

Sign Up  bonus 100$ в фарма ПП Skype: cristina.rx2, ICQ: 676017111, Jabber: cristina.rx@jabb3r.org | Качественный хостинг



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru