X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> Правильный robot.txt какой?
MashaJans
MashaJans
Topic Starter сообщение 29.11.2016, 15:05; Ответить: MashaJans
Сообщение #1


Здравствуйте! Подскажите, у меня сайт на движке вордпресс и хочется узнать правильный ли этот robot.txt?

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: /mashajans.ru/
Sitemap: http://mashajans.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 29.11.2016, 19:57; Ответить: BLIK
Сообщение #2


MashaJans,Нет не совсем правильный.

Поле host указывается так

Host sait.ru

В целом стандарт для меня(без индивидуальных потребностей ) выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /xmlrpc.php
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.com

Sitemap: http://sait.com/sitemap.xml

Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
semarg
semarg
сообщение 30.11.2016, 0:44; Ответить: semarg
Сообщение #3


MashaJans, Вам BLIK_mw, показал пример практически идеального robots.txt. К этому могу добавить, что в некоторых случаях может потребоваться вписывание и других странц, все зависит от вашего сайта и его структуры.

Посоветую в валидаторе Вебмастера поиграться с файлом, так быстрее поймете, как это работает.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
MashaJans
MashaJans
Topic Starter сообщение 30.11.2016, 18:14; Ответить: MashaJans
Сообщение #4


Спасибо большое, теперь понятно)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
сообщение 12.4.2017, 13:00; Ответить: Napoleon-007
Сообщение #5


(BLIK @ 29.11.2016, 22:57) *
User-agent: Yandex
 
А почему для Яндекса отдельно ? Он не принимает User-agent: * ? А Гугли тогда как ?
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 12.4.2017, 13:05; Ответить: BLIK
Сообщение #6


Napoleon-007,Да, для Яндекс нужно отдельно, так как Яндексу еще и host нужно прописать.

(Napoleon-007 @ 12.4.2017, 16:00) *
А Гугли тогда как ?
Выше я писал пример файла. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 12.4.2017, 13:05; Ответить: ShowPrint
Сообщение #7


(Napoleon-007 @ 12.4.2017, 16:00) *
А почему для Яндекса отдельно ?
Директиву Host понимает только Яндекс. Поэтому для него готовят отдельный кусок пирога.
Если не будешь указывать Host (а надо бы), то можно сделать общие директивы.

Гоголь вполне нормально делит остальную часть, попадая под "звёздочку". =)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Napoleon-007
Napoleon-007
сообщение 30.4.2017, 9:11; Ответить: Napoleon-007
Сообщение #8


(BLIK @ 29.11.2016, 22:57) *
Disallow: /wp-content/themes
 
В этот момент немного напрягает. В этой же папке находятся темы ? Зачем их блокировать ? У меня Гугл вебмастер показывает много важных заблокированных страниц из-за этого, хотя они в поиске. Правда Яндекс при этом себя намного лучше чувствует, особенно после сегодняшнего апа.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
r0mZet
r0mZet
сообщение 30.4.2017, 9:35; Ответить: r0mZet
Сообщение #9


Вариант от Жени Попова

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

Crawl-delay: 5

Disallow: /tag

Host: site.ru
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 30.4.2017, 14:40; Ответить: BLIK
Сообщение #10


(Napoleon-007 @ 30.4.2017, 12:11) *
В этой же папке находятся темы ? Зачем их блокировать ?
Я блокирую, чтобы лишнего в индекс не лезло. Проблем не вижу у себя.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Кто где хранит файлы? И какой объем?
просто интересно
19 mark2013 1993 25.3.2024, 6:42
автор: Skyworker
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
10 Aloof 2547 24.3.2024, 21:45
автор: Liudmila
Открытая тема (нет новых ответов) Через какой браузер и как можно найти в кэшэ браузера видео
10 Room 1939 23.3.2024, 7:41
автор: Room
Горячая тема (нет новых ответов) Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл?
35 metvekot 9272 19.3.2024, 20:19
автор: MisterBit
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКакой сайт пробовать создавать под небольшое ГЕО?
6 kapusta1 1242 15.3.2024, 13:06
автор: OS_ZP_UA


 



RSS Текстовая версия Сейчас: 29.3.2024, 10:29
Дизайн