X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Составление файла robots.txt
climbing
climbing
Topic Starter сообщение 26.1.2017, 1:58; Ответить: climbing
Сообщение #1


Привет всем.

У меня есть сомнения на счет моих файлов robots.txt.

Первый музыкального блога.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Host: recordmusik.ru

Sitemap: https://recordmusik.ru/sitemap.xml.gz
Sitemap: https://recordmusik.ru/sitemap.xml

Второй компьютерного

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /?s=
Disallow: *?replytocom=*
Disallow: *?ocom=*
Disallow: /comment-subscriptions*
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/

Host: moicom.ru

Sitemap: https://moicom.ru/sitemap.xml.gz
Sitemap: https://moicom.ru/sitemap.xml

Подскажите пожалуйста, правильно ли они составлены или нет, может нужно что-то добавить или убрать?
Сайты небольшие менее 100 страниц.

Заранее благодарен за любую помощь.
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 26.1.2017, 2:20; Ответить: BLIK
Сообщение #2


climbing,Не знаю зачем у вас эти строки

Disallow: /wp-login.php
Disallow: /wp-register.php 

И потом не понимаю, почему у вас в начале есть строка

Disallow:

Потом, не совсем понятно, у вас в ссылках на карту сайта протокол указан https а host указан без?

Если сайт работает по https то и host должен быть
пример

Host: https://recordmusik.ru



Сообщение отредактировал BLIK - 26.1.2017, 2:20
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
climbing
climbing
Topic Starter сообщение 26.1.2017, 3:02; Ответить: climbing
Сообщение #3


BLIK_mw,
Здравствуйте.

Я недавно перешел на https, поэтому еще не знаю всех его тонкостей.

Просто я думал, что в хосте прописывается имя сайта без протоколов www, http и https, но я могу и ошибаться.

Если нужно, то я могу убрать эти три строчки с Дизалоу.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 26.1.2017, 3:17; Ответить: BLIK
Сообщение #4


climbing,Да, поправьте строчку host и пропишите полный url с протоколом но без слеша на конце.(как я пример приводил)

По строчке 

Disallow:

ее тоже убрать нужно, она не к чему.

Вот мой пример robots

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

Host: https://site.ru

Sitemap: https://site.ru/sitemap.xml.gz
Sitemap: https://site.ru/sitemap.xml

В моем примере не закрыты комментарии, так как у меня на сайте они выключены.

По этому, если вам нужно что-то дополнительно закрыть, то допишите строчки.

Если в чем то сомневаетесь и не знаете, то оптимально будет открыть сайты популярных блогеров и посмотреть ихние файлы(но и копировать тоже их не стоит, так как доп строки индивидуальны для каждого сайта)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
climbing
climbing
Topic Starter сообщение 26.1.2017, 18:24; Ответить: climbing
Сообщение #5


BLIK_mw,

Здравствуйте.

Если я укажу директиву хост https://recordmusik.ru, то индексироваться будет только он.
А как же обычный сайт http://recordmusik.ru, он получается индексироваться не будет, ведь трафик идет с них обоих? 
(BLIK @ 26.1.2017, 06:17) *
Disallow: /page/


Получается page - страницы сайта не будут индексироваться, или я не правильно понимаю?


Сообщение отредактировал climbing - 26.1.2017, 18:21
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 26.1.2017, 18:27; Ответить: BLIK
Сообщение #6


climbing,Здравствуйте. Сайт должен открываться и индексироваться по одному адресу или по http или по https, в противном случае это дубли, если сайт отрывается по всем адресам. 

После установки сертификата, нужно добавлять новую версию сайта в кабинеты вебмастера, а в Яндексе на старом сайте еще и указать переезд на https протокол, ну и естественно ставить редиректы.
(climbing @ 26.1.2017, 21:24) *
Получается page

Вы можете убрать данные строки.
У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
climbing
climbing
Topic Starter сообщение 26.1.2017, 18:30; Ответить: climbing
Сообщение #7


(BLIK @ 26.1.2017, 21:27) *
У меня эти строки для закрытия дублей страниц установлено например page1, page2 и. т. д.


Спасибо, но у меня на этих страницах разный контент, разве его не нужно индексировать, или он один раз проиндексировался и можно его больше не индексировать? 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 26.1.2017, 18:35; Ответить: BLIK
Сообщение #8


climbing,Не могу сказать, не знаю ваших целей, у меня индексируются только полные страницы, а привью(разные выдержки других страницы), на страницах с пагинацией не индексируются.

В целом, я уже выше писал все индивидуально, у меня индексируются только полные страницы, все остальное закрыто.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
climbing
climbing
Topic Starter сообщение 26.1.2017, 18:41; Ответить: climbing
Сообщение #9


Хорошо. Что можете сказать на счет соплей - Replytocom?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 26.1.2017, 18:56; Ответить: BLIK
Сообщение #10


(climbing @ 26.1.2017, 21:41) *
Что можете сказать на счет соплей - Replytocom?

Ничего не могу сказать и не разу не видел, чтобы подобная строка у кого-то была в robots 
Скорее всего потому, что и в seo плагинах есть некоторые настройки по закрытию "лишнего"
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Заказать Копирайтинг | Проработка Семантического ядра | Составление ТЗ
0 yehCANA 910 19.9.2022, 18:33
автор: yehCANA
Открытая тема (нет новых ответов) Требуется ТЗ-мейкер (составление плана статьи)
0 Gusman 835 6.5.2022, 15:08
автор: Gusman
Открытая тема (нет новых ответов) Составление семантического ядра для сайта.
1 Coremix 7478 26.5.2020, 23:02
автор: Kiloan_Frost
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыСоставление качественных ТЗ для ваших статей
1 TZStudio 7401 20.12.2019, 10:19
автор: FIvYUr
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78373 12.8.2019, 21:28
автор: neonix


 



RSS Текстовая версия Сейчас: 19.3.2024, 15:40
Дизайн