Помощник
|
Корректность файла robots.txt |
Kuchuluk
|
Сообщение
#1
|
||
|
|
||
|
|||
sosnovskij |
6.1.2014, 18:10;
Ответить: sosnovskij
Сообщение
#2
|
|
Да, но корректность условий disallow определяется поставленными задачами
-------------------- |
|
|
hammer8 |
6.1.2014, 19:39;
Ответить: hammer8
Сообщение
#3
|
|
Для движка WordPress я использую следующий robots.txt. Думаю он подойдет для большинства блогов.
User-agent: * Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /tag/ Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /*.php User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-content/plugins/ Disallow: /wp-content/cache/ Disallow: /wp-content/themes/ Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /category/ Disallow: /author/ Disallow: /page/ Disallow: /tag/ Disallow: /feed/ Disallow: */feed Disallow: */trackback Disallow: */comments Disallow: /*? Disallow: /*?* Disallow: /*.php Host: http://site.com Sitemap: http://site.com/sitemap.xml Sitemap: http://site.com/sitemap.xml.gz файл robots.txt таким образом правильно написан? Этот первоначальный robots.txt, ошибок в нем нет. |
|
|
Kuchuluk
|
Сообщение
#4
|
|
корректность условий disallow определяется поставленными задачами меня вообще не disallow больше интересует, а главное зеркало. Деректива HOST должна идти сразу после disallow, да? Для движка WordPress я использую следующий robots.txt. у меня на фреймворке сайт, поэтом мне там особо больше закрывать то и нечего...Вообще, какая последовательность деректив друг за другом? Вот на этот вопрос нигде внятного ответа нет. В помощи яндекса для вебмастеров даже не указано конкретно в какой последовательности они должны следовать друг за другом. |
|
|
hammer8 |
6.1.2014, 21:14;
Ответить: hammer8
Сообщение
#5
|
|
Деректива HOST должна идти сразу после disallow, да? Директиву host, как и ссылку на карту обычно, для удобства прописывают в конце роботса. Это стандарт. |
|
|
Kuchuluk
|
Сообщение
#6
|
|
[member=hammer8], понял, спасибо!
|
|
|
Triniti_Wel_mw |
11.1.2014, 22:48;
Ответить: Triniti_Wel_mw
Сообщение
#7
|
|
Вопрос. Что это?
Sitemap: http://site.com/sitemap.xml.gz И еще: принципиален ли пропуск строки после Disallow: /*?* Disallow: /*.php перед адресом сайта? |
|
|
hammer8 |
11.1.2014, 23:50;
Ответить: hammer8
Сообщение
#8
|
|
Sitemap: http://site.com/sitemap.xml.gz Это карта сайта в формате xml.gz. И еще: принципиален ли пропуск строки после Не принципиально, но лично для меня удобно отделять строчкой robots для всех роботов и для Яндекса отдельно. Сообщение отредактировал hammer8 - 11.1.2014, 23:50 |
|
|
Triniti_Wel_mw |
12.1.2014, 11:52;
Ответить: Triniti_Wel_mw
Сообщение
#9
|
|
Это карта сайта в формате xml.gz. Это я поняла, просто не знаю, как она делается и у себя не могу ее найти |
|
|
BLIK |
12.1.2014, 14:49;
Ответить: BLIK
Сообщение
#10
|
|
Это я поняла, просто не знаю, как она делается и у себя не могу ее найти Если у вас сайт на WordPress, то нужно вам создать карту сайта и потом прописать в robots.txt такие же строчкиSitemap: http://site.com/sitemap.xml Sitemap: http://site.com/sitemap.xml.gz только имя сайта свое) А в помощь вам вот этот плагин http://wordpress.org...emap-generator/ и для наглядности еще и видео http://youtu.be/n-941S11jzU ( пускай видео пустова то, но для примера подойдет) Сообщение отредактировал Sosnovskij - 12.1.2014, 18:25 |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Корректность показа вёрстки изображений на разных гаджетах Не сохраняются пропорции изображений на смартфонах |
1 | master-vek | 37257 | 25.3.2021, 13:22 автор: tedder |
|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 79050 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7641 | 28.3.2019, 18:31 автор: regem |
|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2204 | 8.3.2017, 1:56 автор: PavelMarty |
|
Куплю места для размещения TXT+URL Кафе, Ресторан, Банкетные тематики. | 0 | regem | 8346 | 1.3.2017, 3:20 автор: regem |
Текстовая версия | Сейчас: 20.4.2024, 4:21 |