Перейти к содержимому



В какой дериктории должен находиться файл robots.txt

#1 Анита

Анита
  • Пользователь
  • 63 сообщений
  • Репутация: 1
0

Отправлено 30 Июнь 2015 - 14:56

Спасибо всем, кто откликнулся на предыдущий пост. Теперь если кому несложно, уточните несколько деталей.

 

У меня на хостинге в файловом менеджере две основные папки, которые, как я в итоге думала (надеюсь так и есть, иначе это взрыв мозга) относятся к двум моим разным сайтам.

 

Первая папка называется public_html (не помню почему так назвала - помогали с первым сайтом)

Вторая папка называется moj_sajt.ru

 

Так вот открывая второй файл я тоже попадаю в public_html и дальше вопрос вот в чем....

Мне надо загрузить robots.txt (выглядит он так: User-agent: *

                                                                               Disallow: /)
загрузить вроде как надо в корневую папку рядом с index.php, так вот он есть в корневой public_html, а еще в этой папке есть папка wp-content и там тоже есть index.php, дальше есть папка thems и там тоже есть этот файл индекс.
В итоге я загрузила в public_html
 
Вопрос: решила проверить этот файл robots.txt в вэюмастере - ввела адрес сайта, нажала "загрузить" выдал действительно то содержимое, какое у меня и есть в файле, нажала проверить, выдал:
  • Используемые секции

  Строка       1-2
User-agent: *
Disallow: /
   

 1 вопрос - Что это значит???

2 вопрос - Файл Роботс для первого сайта не грузила, но задала в строке адрес первого сайта и роботс загрузился тот же....т.е получается, что й файл роботс для двух сайтов? или что-то я не так делаю?


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Запрещенный файлом robots.txt
  2. Наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt
  3. Файл robots.txt для сайта на wordpress
  4. Как настроить файл robots.txt на сайте написанного на php
  5. Помогите разобраться с файлом robot.txt

#2 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 30 Июнь 2015 - 15:10

@Анита,Пожалуйста, не дублируйте темы.

 

Стандартный файл robots выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.ru(без www прописывается адрес сайта, даже если сайт с www) 

Загрузить его надо в корень где все папки движка, а не в отдельную какую то папку!

 

Структура папок и где файл должен быть.

robots.PNG


Сообщение отредактировал BLIK: 30 Июнь 2015 - 15:17

  • 0


#3 Анита

Анита
    Topic Starter
  • Пользователь
  • 63 сообщений
  • Репутация: 1

Отправлено 30 Июнь 2015 - 15:21

@BLIK,открываю файловый менеджер, вижу 2 папки

первая папка - это для 1-го сайта

вторая папка - это для второго сайта

 

вордпресс заливала отдельно в каждую папку, для каждого сайта

 

роботс загрузила во вторую папку для второго сайта, но при проверке в вэбмастере первого сайта (в него роботс не заливала вообще) вэбмастер выдал то же самое, что и для второй папки (куда я залила роботс)

 

Мне сейчас не важно правильноый он или нет, важно то, что я его создала и закрыла весь сайт от индексации, написав disallow: /

 

я не поняла как его проверить, что вэбмастер выдаст при неверном составлении файла

 

И почему, когда я проверяю первый сайт (куда я не заливала файл роботс) вэбмастер загружает тот файл, который я загрузила во вторую папку (для второго сайта) 

@BLIK,отдельное спасибо за  стандартный файл роботс, не поняла вот что:

это два варианта этого файла или это для одного файла роботс? 


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 30 Июнь 2015 - 15:31

для одного файла роботс? 

Это один файл и написан для обоих поисковиков.

 

Что же касается дериктории, я показал структуру папок движка куда кинуть.

 

Чтоб проверить, нужно зайти сюда ввести домен, подгрузить файл и там внизу строка,список url, нажать добавить и ввести ссылки на страницы сайта и покажет разрешен доступ к странице или нет.


Сообщение отредактировал BLIK: 30 Июнь 2015 - 15:31

  • 0


#5 Анита

Анита
    Topic Starter
  • Пользователь
  • 63 сообщений
  • Репутация: 1

Отправлено 01 Июль 2015 - 10:40

Стандартный файл robots выглядит так
Доброго времени суток! Пожалуйста, уточните...т.е я в одном файле роботс могу обратиться одновременно и ко всем поисковым системам, указав User agent: *

 

И после прописания правил для всех поисковиков, могу набрать User agent: yandex

 

Я правильно поняла???  


  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 01 Июль 2015 - 14:03

@Анита,Не совсем понял вопроса. Файл который выше, он для всех поисковиков в том числе и Яндекс.

 

Закрывает все стандартное от индекса в wordpress. Если еще что надо закрыть уже дописываем сами. 


  • 0


#7 akmid81

akmid81
  • Пользователь
  • 117 сообщений
  • Репутация: 14

Отправлено 10 Июль 2015 - 15:52

@Анита, @BLIK, прописывать в роботсе отдельные секции для разных ПС есть смысл только в том случае, если вы хотите сделать разные правила индексирвоания для разных ПС. Правила для звездочки работают и для яндекса тоже.

 

Директива host (единственное отличие) является внесекционной - ее не обязательно прописывать в какой-либо блок. Разместить ее можно через пропуск строки под всеми правилами.

 

То есть, блок для яндекса здесь лишний.

 

Также стоит открыть для индексирования папки с картинками и со скриптами.

 

Есть еще кое какие нюансы, подробнее о правильном robots.txt. для wordpress вот тут посмотреть можно - http://biznessystem....dlya-wordpress/

 

Что касается одинакового роботса для разных сайтов - а что происходит, если разные файлы залить в разные папки? - сделайте это для первого сайта, где у вас его нет.


  • 0

#8 BLIK

BLIK
  • Супермодератор
  • 3 196 сообщений
  • Репутация: 634

Отправлено 10 Июль 2015 - 16:08

То есть, блок для яндекса здесь лишний.

Спасибо за объяснение.

 

Единственный вопрос, а кто так решил что блок лишний? (об этом написано где?)

 

Справка Яндекса и у них пример иной

 

Директивы Disallow и Allow

 
Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.
Примеры:
User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту
 
User-agent: Yandex
Disallow: /cgi-bin # блокирует доступ к страницам,  
                   # начинающимся с '/cgi-bin'
 

Источник https://help.yandex..../robots-txt.xml

 

Поэтому, я стараюсь делать по рекомендации и примерам поисковиков, а не проводить эксперименты.

 

А с robots сейчас каждый делает как захочет..

 

Но, все равно спасибо за такой вариант файла, но, я как нибудь по старинке буду, так надежнее и все работает и индексирует. :)


  • 0


#9 akmid81

akmid81
  • Пользователь
  • 117 сообщений
  • Репутация: 14

Отправлено 10 Июль 2015 - 17:25

Источник https://help.yandex..../robots-txt.xml

В том же документе:

Если обнаружены директивы для конкретного робота, директивы User-agent: Yandex и User-agent: * не используются.

Внимательнее эту страницу изучите, там приведена масса примеров. Роботс будет работать и в вашем варианте правильно, только это лишних несколько десятков строк.

Робот смотрит файл и начинает обрабатывать директивы со звездочкой только в том случае, если не находит своего персонального имени. То есть если к нему обращения нет, то он читает User-agent: *

Если не верите - откройте https://webmaster.yandex.ru/robots.xml, сделайте robots только со звездным блоком и проверьте как его читает Яндекс.

 

Лишний код в любых файлах сайта - всегда зло.


  • 1

#10 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 729 сообщений
  • Репутация: 408

Отправлено 10 Июль 2015 - 18:01

Задел топик и меня... =)))

 

Директива host (единственное отличие) является внесекционной

 @akmid81 а вроде везде натыкался на мнение что директива host воспринимается только Яндом и никем другим и правильнее ее прописываться в директивах именно Янда, чтоб не смущать другие ПС непонятной директивой?... Или я опять "прочел все буквы, угадал слово и не понял что оно означает"?

 

 

Host: sait.ru(без www прописывается адрес сайта, даже если сайт с www) 

 @BLIK, а куда податься бедному крестьянину если у меня главное зеркало объявлено с www? (целесообразность не обсуждаем...) То есть в директиве host все равно указывать "без www"? Конфликта не возникнет? Как проверить?


Сообщение отредактировал ShowPrint: 10 Июль 2015 - 18:02

  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru