Перейти к содержимому


Пользователь месяца
ShowPrint ShowPrint 1-й за Сентябрь
Очков активности: 283 2 темы, 21 сообщение, 7 баллов репутации
Сайт: ShowPrint.ru
ТОП самых активных за этот месяц
  • Фотография Medvedoc
    #1

    Medvedoc
    Очков активности: 432 8 тем, 48 сообщений, 4 балла репутации

  • Фотография ShowPrint
    #2

    ShowPrint (ShowPrint.ru)
    Очков активности: 225 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #3

    BLIK
    Очков активности: 180 Вне конкурса за определение пользователя месяца

  • Фотография WGN
    #4

    WGN (worldgamenews.com)
    Очков активности: 79.5 Вне конкурса за определение пользователя месяца

  • Фотография Алексей111
    #5

    Алексей111 (xvideo24.ru)
    Очков активности: 66 8 тем, 20 сообщений, 1 балл репутации

  • Фотография Ixman
    #6

    Ixman (o5cat.ru)
    Очков активности: 54 0 тем, 12 сообщений, 3 балла репутации

  • Фотография Игорь Ку
    #7

    Игорь Ку (dudesday.ru)
    Очков активности: 49.5 3 темы, 2 сообщения, 3 балла репутации

  • Фотография yuran
    #8

    yuran (yurbol.ru)
    Очков активности: 34.5 1 тема, 20 сообщений, 1 балл репутации

  • Фотография Zevss
    #9

    Zevss (domles43.ru)
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография devpro
    #10

    devpro
    Очков активности: 13.5 0 тем, 9 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Kwork.ru - услуги фрилансеров от 500 руб.

Поддержите форум! =)
Апдейты
  • Яндекс тИЦ: 26.09.2018
  • Яндекс выдача: 16.10.2018
Топ 5 участников по репутации


Составление файла robots.txt

#1 climbing

climbing
  • Пользователь
  • 42 сообщений
  • Репутация: 0
0

Отправлено 26 January 2017 - 00:58

Привет всем.

 

У меня есть сомнения на счет моих файлов robots.txt.

 

Первый музыкального блога.

User-agent: Mediapartners-Google 
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Host: recordmusik.ru
Sitemap: https://recordmusik.ru/sitemap.xml.gz
Sitemap: https://recordmusik.ru/sitemap.xml

Второй компьютерного

User-agent: Mediapartners-Google 
Disallow:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Host: moicom.ru
Sitemap: https://moicom.ru/sitemap.xml.gz
Sitemap: https://moicom.ru/sitemap.xml

Подскажите пожалуйста, правильно ли они составлены или нет, может нужно что-то добавить или убрать?

Сайты небольшие менее 100 страниц.

 

Заранее благодарен за любую помощь.


 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 4116 сообщений
  • Репутация: 930

Отправлено 26 January 2017 - 01:20

@climbing,Не знаю зачем у вас эти строки

Disallow: /wp-login.php
Disallow: /wp-register.php 

И потом не понимаю, почему у вас в начале есть строка

Disallow:

Потом, не совсем понятно, у вас в ссылках на карту сайта протокол указан https а host указан без?

 

Если сайт работает по https то и host должен быть

пример

Host: https://recordmusik.ru

Сообщение отредактировал BLIK: 26 January 2017 - 01:20

  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#3 climbing

climbing
    Topic Starter
  • Пользователь
  • 42 сообщений
  • Репутация: 0

Отправлено 26 January 2017 - 02:02

@BLIK,

Здравствуйте.

 

Я недавно перешел на https, поэтому еще не знаю всех его тонкостей.

 

Просто я думал, что в хосте прописывается имя сайта без протоколов www, http и https, но я могу и ошибаться.

 

Если нужно, то я могу убрать эти три строчки с Дизалоу.


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 4116 сообщений
  • Репутация: 930

Отправлено 26 January 2017 - 02:17

@climbing,Да, поправьте строчку host и пропишите полный url с протоколом но без слеша на конце.(как я пример приводил)

 

По строчке 

Disallow:

ее тоже убрать нужно, она не к чему.

 

Вот мой пример robots

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: https://site.ru
Sitemap: https://site.ru/sitemap.xml.gz
Sitemap: https://site.ru/sitemap.xml

В моем примере не закрыты комментарии, так как у меня на сайте они выключены.

 

По этому, если вам нужно что-то дополнительно закрыть, то допишите строчки.

 

Если в чем то сомневаетесь и не знаете, то оптимально будет открыть сайты популярных блогеров и посмотреть ихние файлы(но и копировать тоже их не стоит, так как доп строки индивидуальны для каждого сайта)


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#5 climbing

climbing
    Topic Starter
  • Пользователь
  • 42 сообщений
  • Репутация: 0

Отправлено 26 January 2017 - 17:24

@BLIK,

 

Здравствуйте.

 

Если я укажу директиву хост https://recordmusik.ru, то индексироваться будет только он.

А как же обычный сайт http://recordmusik.ru, он получается индексироваться не будет, ведь трафик идет с них обоих? 


Disallow: /page/

 

Получается page - страницы сайта не будут индексироваться, или я не правильно понимаю?


Сообщение отредактировал climbing: 26 January 2017 - 17:21

  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 4116 сообщений
  • Репутация: 930

Отправлено 26 January 2017 - 17:27

@climbing,Здравствуйте. Сайт должен открываться и индексироваться по одному адресу или по http или по https, в противном случае это дубли, если сайт отрывается по всем адресам. 

 

После установки сертификата, нужно добавлять новую версию сайта в кабинеты вебмастера, а в Яндексе на старом сайте еще и указать переезд на https протокол, ну и естественно ставить редиректы.

Получается page

Вы можете убрать данные строки.

У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д. 


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#7 climbing

climbing
    Topic Starter
  • Пользователь
  • 42 сообщений
  • Репутация: 0

Отправлено 26 January 2017 - 17:30

У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д.

 

Спасибо, но у меня на этих страницах разный контент, разве его не нужно индексировать, или он один раз проиндексировался и можно его больше не индексировать? 


  • 0

#8 BLIK

BLIK
  • Супермодератор
  • 4116 сообщений
  • Репутация: 930

Отправлено 26 January 2017 - 17:35

@climbing,Не могу сказать, не знаю ваших целей, у меня индексируются только полные страницы, а привью(разные выдержки других страницы), на страницах с пагинацией не индексируются.

 

В целом, я уже выше писал все индивидуально, у меня индексируются только полные страницы, все остальное закрыто.


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#9 climbing

climbing
    Topic Starter
  • Пользователь
  • 42 сообщений
  • Репутация: 0

Отправлено 26 January 2017 - 17:41

Хорошо. Что можете сказать на счет соплей - Replytocom?


  • 0

#10 BLIK

BLIK
  • Супермодератор
  • 4116 сообщений
  • Репутация: 930

Отправлено 26 January 2017 - 17:56

Что можете сказать на счет соплей - Replytocom?

Ничего не могу сказать и не разу не видел, чтобы подобная строка у кого-то была в robots 

Скорее всего потому, что и в seo плагинах есть некоторые настройки по закрытию "лишнего"


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru