Помощник
|
В какой дериктории должен находиться файл robots.txt |
Анита
|
Сообщение
#1
|
||
|
|
||
|
|||
BLIK |
30.6.2015, 16:10;
Ответить: BLIK
Сообщение
#2
|
|
|
Анита,Пожалуйста, не дублируйте темы.
Стандартный файл robots выглядит так
Загрузить его надо в корень где все папки движка, а не в отдельную какую то папку! Структура папок и где файл должен быть. Сообщение отредактировал BLIK - 30.6.2015, 16:17 |
|
|
||
Анита
|
Сообщение
#3
|
|
BLIK_mw,открываю файловый менеджер, вижу 2 папки
первая папка - это для 1-го сайта вторая папка - это для второго сайта вордпресс заливала отдельно в каждую папку, для каждого сайта роботс загрузила во вторую папку для второго сайта, но при проверке в вэбмастере первого сайта (в него роботс не заливала вообще) вэбмастер выдал то же самое, что и для второй папки (куда я залила роботс) Мне сейчас не важно правильноый он или нет, важно то, что я его создала и закрыла весь сайт от индексации, написав disallow: / я не поняла как его проверить, что вэбмастер выдаст при неверном составлении файла И почему, когда я проверяю первый сайт (куда я не заливала файл роботс) вэбмастер загружает тот файл, который я загрузила во вторую папку (для второго сайта) BLIK_mw,отдельное спасибо за стандартный файл роботс, не поняла вот что: это два варианта этого файла или это для одного файла роботс? |
|
|
BLIK |
30.6.2015, 16:31;
Ответить: BLIK
Сообщение
#4
|
|
для одного файла роботс? Это один файл и написан для обоих поисковиков. Что же касается дериктории, я показал структуру папок движка куда кинуть. Чтоб проверить, нужно зайти сюда ввести домен, подгрузить файл и там внизу строка,список url, нажать добавить и ввести ссылки на страницы сайта и покажет разрешен доступ к странице или нет. Сообщение отредактировал BLIK - 30.6.2015, 16:31 |
|
|
Анита
|
Сообщение
#5
|
|
Стандартный файл robots выглядит так Доброго времени суток! Пожалуйста, уточните...т.е я в одном файле роботс могу обратиться одновременно и ко всем поисковым системам, указав User agent: *И после прописания правил для всех поисковиков, могу набрать User agent: yandex Я правильно поняла??? |
|
|
BLIK |
1.7.2015, 15:03;
Ответить: BLIK
Сообщение
#6
|
|
Анита,Не совсем понял вопроса. Файл который выше, он для всех поисковиков в том числе и Яндекс.
Закрывает все стандартное от индекса в wordpress. Если еще что надо закрыть уже дописываем сами. |
|
|
akmid81 |
10.7.2015, 16:52;
Ответить: akmid81
Сообщение
#7
|
|
Анита, BLIK_mw, прописывать в роботсе отдельные секции для разных ПС есть смысл только в том случае, если вы хотите сделать разные правила индексирвоания для разных ПС. Правила для звездочки работают и для яндекса тоже.
Директива host (единственное отличие) является внесекционной - ее не обязательно прописывать в какой-либо блок. Разместить ее можно через пропуск строки под всеми правилами. То есть, блок для яндекса здесь лишний. Также стоит открыть для индексирования папки с картинками и со скриптами. Есть еще кое какие нюансы, подробнее о правильном robots.txt. для wordpress вот тут посмотреть можно - http://biznessystem.ru/2015/05/delaem-prav...dlya-wordpress/ Что касается одинакового роботса для разных сайтов - а что происходит, если разные файлы залить в разные папки? - сделайте это для первого сайта, где у вас его нет. |
|
|
BLIK |
10.7.2015, 17:08;
Ответить: BLIK
Сообщение
#8
|
|
То есть, блок для яндекса здесь лишний. Спасибо за объяснение. Единственный вопрос, а кто так решил что блок лишний? (об этом написано где?) Справка Яндекса и у них пример иной Директивы Disallow и Allow Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow. Примеры: User-agent: Yandex Disallow: / # блокирует доступ ко всему сайту User-agent: Yandex Disallow: /cgi-bin # блокирует доступ к страницам, # начинающимся с '/cgi-bin' Источник https://help.yandex.ru/webmaster/controllin.../robots-txt.xml Поэтому, я стараюсь делать по рекомендации и примерам поисковиков, а не проводить эксперименты. А с robots сейчас каждый делает как захочет.. Но, все равно спасибо за такой вариант файла, но, я как нибудь по старинке буду, так надежнее и все работает и индексирует. :) |
|
|
akmid81 |
10.7.2015, 18:25;
Ответить: akmid81
Сообщение
#9
|
|
В том же документе: Если обнаружены директивы для конкретного робота, директивы User-agent: Yandex и User-agent: * не используются. Внимательнее эту страницу изучите, там приведена масса примеров. Роботс будет работать и в вашем варианте правильно, только это лишних несколько десятков строк. Робот смотрит файл и начинает обрабатывать директивы со звездочкой только в том случае, если не находит своего персонального имени. То есть если к нему обращения нет, то он читает User-agent: * Если не верите - откройте https://webmaster.yandex.ru/robots.xml, сделайте robots только со звездным блоком и проверьте как его читает Яндекс. Лишний код в любых файлах сайта - всегда зло. |
|
|
ShowPrint |
10.7.2015, 19:01;
Ответить: ShowPrint
Сообщение
#10
|
|
Задел топик и меня... =)))
Директива host (единственное отличие) является внесекционной akmid81 а вроде везде натыкался на мнение что директива host воспринимается только Яндом и никем другим и правильнее ее прописываться в директивах именно Янда, чтоб не смущать другие ПС непонятной директивой?... Или я опять "прочел все буквы, угадал слово и не понял что оно означает"? Host: sait.ru(без www прописывается адрес сайта, даже если сайт с www) BLIK_mw, а куда податься бедному крестьянину если у меня главное зеркало объявлено с www? (целесообразность не обсуждаем...) То есть в директиве host все равно указывать "без www"? Конфликта не возникнет? Как проверить? Сообщение отредактировал ShowPrint - 10.7.2015, 19:02 |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Какой сайт пробовать создавать под небольшое ГЕО? | 6 | kapusta1 | 1195 | 15.3.2024, 13:06 автор: OS_ZP_UA |
|
Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл? | 34 | metvekot | 9021 | 11.3.2024, 11:04 автор: wanessa |
|
Какой % отказов нормален для сайта? | 9 | Aloof | 2360 | 8.3.2024, 20:41 автор: ZerKuS |
|
Через какой браузер и как можно найти в кэшэ браузера видео | 9 | Room | 1764 | 26.2.2024, 21:51 автор: bestx24 |
|
Кто где хранит файлы? И какой объем? просто интересно |
16 | mark2013 | 1692 | 23.2.2024, 23:50 автор: bestx24 |
Текстовая версия | Сейчас: 19.3.2024, 14:40 |