X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
> Вопросы по корректному составлению robots.txt
zis
zis
Topic Starter сообщение 24.4.2014, 8:56; Ответить: zis
Сообщение #1


Хочу вот поинтересоваться у знающих людях по поводу файла robots.txt.
1. В чем разница между Disallow: /prk и Disallow: /prk/ вроде как хоть там, хоть там, директория закрывается.
2. Нужно ли закрывать директорию где лежат файлы JS, CSS?
3. К примеру есть файл slider.html лежит он допустим в папке prk, с него выводится на страницу сайта некая разметка, путём require_once ($_SERVER['DOCUMENT_ROOT'].'/prk/slider.html'); ну или через include, так вот, мне нужно закрывать эту папку в robots.txt или нет?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 24.4.2014, 10:18; Ответить: ixman
Сообщение #2


1) Если не ошибаюсь то Disallow: /prk/ читается ботами как Disallow: /prk/index.html. то есть закрывает от индексации только индексный файл директории, а вот вариант Disallow: /prk - уже всю директорию.

2) Думаю можно закрыть, так как боты сканируют всё, что им попадётся

3) Папку думаю можно закрыть, а сам слайдер проиндексируется через ту страницу, где он выводится. В данном случае боты просто не будут попросту сканировать эту папку
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sosnovskij
sosnovskij
сообщение 24.4.2014, 11:07; Ответить: sosnovskij
Сообщение #3


(Ixman) *
В чем разница между Disallow: /prk и Disallow: /prk/

В случае с Disallow: /prk будут запрещаться к индексации все URL страниц, которые будут иметь /prk, во втором случае /prk/. Если это папка, то значения не имеет, какой выбрать вариант.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
moving
moving
сообщение 24.4.2014, 14:59; Ответить: moving
Сообщение #4


Я считаю лучше закрыть эту директорию, зачем давать индексировать не нужную информацию 
у себя закрывал Disallow: /папка/
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 24.4.2014, 15:01; Ответить: ixman
Сообщение #5


Кстати я было дело занимался вопросом и в разных источниках разная информация на счёт /dir/ и /dir
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sosnovskij
sosnovskij
сообщение 24.4.2014, 15:15; Ответить: sosnovskij
Сообщение #6


[member=Ixman], какая? В конце строчки как бы по-умолчанию ставится * . Только в данном случае можно утверждать, что между /prk и /prk/ нет разницы. Возьмем другой пример. Есть 2 папки:
- prk
- prk2
Если написать Disallow: /prk , то буду закрыты 2 папки, а если Disallow: /prk/ , то 1.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 24.4.2014, 16:52; Ответить: ixman
Сообщение #7


[member=Sosnovskij],  хорошо. Чтобы заблокировать весь сайт нужно указать Disallow: /, но никак не Disallow:. Это первое о чём можно поспорить. Второе справка Яндекс говорит именно так, как Вы и объяснили, но справка Google говорит иначе, в ней вариантов без / на конце нет.

Сейчас посмотрел сайт robotstxt.org.ru информация там поменялась, по моему на нём я встречал про Disallow: /prk/index.html. То есть / закрывает только индексный файл. Да и справка google тоже изменилась с тех пор, как я в ней был последний раз. Смотрю и Google стал поддерживать директиву Allow.

В общем три справочника по robots.txt и в каждом своя информация. Думаю если ещё поискать, то ещё можно найти не соответсвия
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
sosnovskij
sosnovskij
сообщение 24.4.2014, 21:01; Ответить: sosnovskij
Сообщение #8


Чтобы заблокировать весь сайт нужно указать Disallow: /, но никак не Disallow:.


Это бесспорно :)

(Ixman) *
но справка Google говорит иначе, в ней вариантов без / на конце нет.

Почему? :)

Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть всех URL-адресов, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:
User-agent: Googlebot
Disallow: /*?


Слеша на конце нет :)

Нравится мне справка гугла. Это похоже на то, как разговаривают русскоязычные люди, долго живущие в США :D

Чтобы обозначить последовательность символов, используйте звездочку (*). Например, чтобы заблокировать доступ ко всем подкаталогам, название которых начинается с private, добавьте следующие строки:
User-agent: Googlebot
Disallow: /lichnoe*/

Пример:

User-agent: *
Disallow: /katalog1/
User-Agent: Googlebot
Disallow: /katalog2/
В этом примере для поискового робота Googlebot будут закрыты только URL, включающие /folder2/.


--------------------
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ixman
ixman
сообщение 24.4.2014, 21:51; Ответить: ixman
Сообщение #9


Ну они по правилам явно отличаются друг от друга. Это было и раньше
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
zis
zis
Topic Starter сообщение 25.4.2014, 2:14; Ответить: zis
Сообщение #10


Спасибо за ответы....Есть ещё один вопрос, подскажите если на сайте присутствуют картинки, предположим в папке images, стоит ли указывать их в robots.txt? 
Предположим для робота Google и Yandex



User-agent: Googlebot-Image
Allow: /images



User-agent: YandexImages
Allow: /images


и обязательно ли ставить в начале директивы Allow: / для открытия иденксикации всего сайта за исключением закрытых директорий.

User-agent: *
Allow: /


User-agent: YandexBot
Allow: /

User-agent: Googlebot
Allow: /

или робот в любом случае проиндексирует весь сайт за исключением закрытых директорий, и ему не обязательно указывать в директиве Allow: / .
Теряюсь из за того, что в некоторых источниках указывается, что Allow: / нету есть только Disallow (то есть можно только закрывать весь сайт)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
4 страниц V   1 2 3 4 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Ищу услугу по составлению семантическо ядра на иностранных языках
4 metvekot 8144 24.3.2020, 13:31
автор: DenisPlayer
Открытая тема (нет новых ответов) Вопросы по партнеркам
1 Megoydagi 1342 19.10.2019, 14:07
автор: agrx
Горячая тема (нет новых ответов) Услуги по сбору новостей .txt для ваших сайтов, любые тематики + Отзывы
Импорт в DLE, WP (Xml, SQL) с отложенной публикацией под заказ
138 Akira 78612 12.8.2019, 21:28
автор: neonix
Открытая тема (нет новых ответов) Куплю места для размещения TXT+URL Строительная тематика.
7 regem 7587 28.3.2019, 18:31
автор: regem
Открытая тема (нет новых ответов) Вопросы для мастеров СЯ/спецов SEO
программирую полуавтоматический сборщик ключей
1 coremission 3421 3.7.2018, 9:45
автор: coremission


 



RSS Текстовая версия Сейчас: 28.3.2024, 18:44
Дизайн