Помощник
|
Вопросы по корректному составлению robots.txt |
zis
|
Сообщение
#1
|
||
|
|
||
|
|||
ixman |
24.4.2014, 10:18;
Ответить: ixman
Сообщение
#2
|
|
1) Если не ошибаюсь то Disallow: /prk/ читается ботами как Disallow: /prk/index.html. то есть закрывает от индексации только индексный файл директории, а вот вариант Disallow: /prk - уже всю директорию.
2) Думаю можно закрыть, так как боты сканируют всё, что им попадётся 3) Папку думаю можно закрыть, а сам слайдер проиндексируется через ту страницу, где он выводится. В данном случае боты просто не будут попросту сканировать эту папку |
|
|
sosnovskij |
24.4.2014, 11:07;
Ответить: sosnovskij
Сообщение
#3
|
|
В чем разница между Disallow: /prk и Disallow: /prk/ В случае с Disallow: /prk будут запрещаться к индексации все URL страниц, которые будут иметь /prk, во втором случае /prk/. Если это папка, то значения не имеет, какой выбрать вариант. -------------------- |
|
|
moving |
24.4.2014, 14:59;
Ответить: moving
Сообщение
#4
|
|
Я считаю лучше закрыть эту директорию, зачем давать индексировать не нужную информацию
у себя закрывал Disallow: /папка/ |
|
|
ixman |
24.4.2014, 15:01;
Ответить: ixman
Сообщение
#5
|
|
Кстати я было дело занимался вопросом и в разных источниках разная информация на счёт /dir/ и /dir
|
|
|
sosnovskij |
24.4.2014, 15:15;
Ответить: sosnovskij
Сообщение
#6
|
|
[member=Ixman], какая? В конце строчки как бы по-умолчанию ставится * . Только в данном случае можно утверждать, что между /prk и /prk/ нет разницы. Возьмем другой пример. Есть 2 папки:
- prk - prk2 Если написать Disallow: /prk , то буду закрыты 2 папки, а если Disallow: /prk/ , то 1. -------------------- |
|
|
ixman |
24.4.2014, 16:52;
Ответить: ixman
Сообщение
#7
|
|
[member=Sosnovskij], хорошо. Чтобы заблокировать весь сайт нужно указать Disallow: /, но никак не Disallow:. Это первое о чём можно поспорить. Второе справка Яндекс говорит именно так, как Вы и объяснили, но справка Google говорит иначе, в ней вариантов без / на конце нет.
Сейчас посмотрел сайт robotstxt.org.ru информация там поменялась, по моему на нём я встречал про Disallow: /prk/index.html. То есть / закрывает только индексный файл. Да и справка google тоже изменилась с тех пор, как я в ней был последний раз. Смотрю и Google стал поддерживать директиву Allow. В общем три справочника по robots.txt и в каждом своя информация. Думаю если ещё поискать, то ещё можно найти не соответсвия |
|
|
sosnovskij |
24.4.2014, 21:01;
Ответить: sosnovskij
Сообщение
#8
|
|
Чтобы заблокировать весь сайт нужно указать Disallow: /, но никак не Disallow:. Это бесспорно :) но справка Google говорит иначе, в ней вариантов без / на конце нет. Почему? :) Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть всех URL-адресов, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись: User-agent: Googlebot Disallow: /*? Слеша на конце нет :) Нравится мне справка гугла. Это похоже на то, как разговаривают русскоязычные люди, долго живущие в США :D Чтобы обозначить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, название которых начинается с private, добавьте следующие строки: User-agent: Googlebot Disallow: /lichnoe*/ Пример:
User-agent: * Disallow: /katalog1/ User-Agent: Googlebot Disallow: /katalog2/ В этом примере для поискового робота Googlebot будут закрыты только URL, включающие /folder2/. -------------------- |
|
|
ixman |
24.4.2014, 21:51;
Ответить: ixman
Сообщение
#9
|
|
Ну они по правилам явно отличаются друг от друга. Это было и раньше
|
|
|
zis
|
Сообщение
#10
|
|
Спасибо за ответы....Есть ещё один вопрос, подскажите если на сайте присутствуют картинки, предположим в папке images, стоит ли указывать их в robots.txt?
Предположим для робота Google и Yandex User-agent: Googlebot-Image Allow: /images User-agent: YandexImages Allow: /images и обязательно ли ставить в начале директивы Allow: / для открытия иденксикации всего сайта за исключением закрытых директорий. User-agent: * Allow: / User-agent: YandexBot Allow: / User-agent: Googlebot Allow: / или робот в любом случае проиндексирует весь сайт за исключением закрытых директорий, и ему не обязательно указывать в директиве Allow: / . Теряюсь из за того, что в некоторых источниках указывается, что Allow: / нету есть только Disallow (то есть можно только закрывать весь сайт) |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Ищу услугу по составлению семантическо ядра на иностранных языках | 4 | metvekot | 8144 | 24.3.2020, 13:31 автор: DenisPlayer |
|
Вопросы по партнеркам | 1 | Megoydagi | 1342 | 19.10.2019, 14:07 автор: agrx |
|
Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ |
138 | Akira | 78612 | 12.8.2019, 21:28 автор: neonix |
|
Куплю места для размещения TXT+URL Строительная тематика. | 7 | regem | 7587 | 28.3.2019, 18:31 автор: regem |
|
Вопросы для мастеров СЯ/спецов SEO программирую полуавтоматический сборщик ключей |
1 | coremission | 3421 | 3.7.2018, 9:45 автор: coremission |
Текстовая версия | Сейчас: 28.3.2024, 18:44 |