X   Сообщение сайта
(Сообщение закроется через 3 секунды)



 

Здравствуйте, гость (

| Вход | Регистрация )

2 страниц V   1 2 >
Открыть тему
Тема закрыта
> В какой дериктории должен находиться файл robots.txt
Анита
Анита
Topic Starter сообщение 30.6.2015, 15:56; Ответить: Анита
Сообщение #1


Спасибо всем, кто откликнулся на предыдущий пост. Теперь если кому несложно, уточните несколько деталей.

У меня на хостинге в файловом менеджере две основные папки, которые, как я в итоге думала (надеюсь так и есть, иначе это взрыв мозга) относятся к двум моим разным сайтам.

Первая папка называется public_html (не помню почему так назвала - помогали с первым сайтом)
Вторая папка называется moj_sajt.ru

Так вот открывая второй файл я тоже попадаю в public_html и дальше вопрос вот в чем....
Мне надо загрузить robots.txt (выглядит он так: User-agent: *
                                                                               Disallow: /)

загрузить вроде как надо в корневую папку рядом с index.php, так вот он есть в корневой public_html, а еще в этой папке есть папка wp-content и там тоже есть index.php, дальше есть папка thems и там тоже есть этот файл индекс.

В итоге я загрузила в public_html

 

Вопрос: решила проверить этот файл robots.txt в вэюмастере - ввела адрес сайта, нажала "загрузить" выдал действительно то содержимое, какое у меня и есть в файле, нажала проверить, выдал:





  • Используемые секции





 

Строка

 

 

 


1-2


User-agent: *



Disallow: /





 

 

 1 вопрос - Что это значит???
2 вопрос - Файл Роботс для первого сайта не грузила, но задала в строке адрес первого сайта и роботс загрузился тот же....т.е получается, что й файл роботс для двух сайтов? или что-то я не так делаю?
0
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 30.6.2015, 16:10; Ответить: BLIK
Сообщение #2


Анита,Пожалуйста, не дублируйте темы.

Стандартный файл robots выглядит так

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: sait.ru(без www прописывается адрес сайта, даже если сайт с www) 

Загрузить его надо в корень где все папки движка, а не в отдельную какую то папку!

Структура папок и где файл должен быть.
Прикрепленное изображение



Сообщение отредактировал BLIK - 30.6.2015, 16:17
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Анита
Анита
Topic Starter сообщение 30.6.2015, 16:21; Ответить: Анита
Сообщение #3


BLIK_mw,открываю файловый менеджер, вижу 2 папки
первая папка - это для 1-го сайта
вторая папка - это для второго сайта

вордпресс заливала отдельно в каждую папку, для каждого сайта

роботс загрузила во вторую папку для второго сайта, но при проверке в вэбмастере первого сайта (в него роботс не заливала вообще) вэбмастер выдал то же самое, что и для второй папки (куда я залила роботс)

Мне сейчас не важно правильноый он или нет, важно то, что я его создала и закрыла весь сайт от индексации, написав disallow: /

я не поняла как его проверить, что вэбмастер выдаст при неверном составлении файла

И почему, когда я проверяю первый сайт (куда я не заливала файл роботс) вэбмастер загружает тот файл, который я загрузила во вторую папку (для второго сайта) 
BLIK_mw,отдельное спасибо за  стандартный файл роботс, не поняла вот что:
это два варианта этого файла или это для одного файла роботс? 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 30.6.2015, 16:31; Ответить: BLIK
Сообщение #4


(Анита @ 30.6.2015, 18:21) *
для одного файла роботс? 

Это один файл и написан для обоих поисковиков.

Что же касается дериктории, я показал структуру папок движка куда кинуть.

Чтоб проверить, нужно зайти сюда ввести домен, подгрузить файл и там внизу строка,список url, нажать добавить и ввести ссылки на страницы сайта и покажет разрешен доступ к странице или нет.

Сообщение отредактировал BLIK - 30.6.2015, 16:31
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
Анита
Анита
Topic Starter сообщение 1.7.2015, 11:40; Ответить: Анита
Сообщение #5


(BLIK @ 30.6.2015, 18:10) *
Стандартный файл robots выглядит так
Доброго времени суток! Пожалуйста, уточните...т.е я в одном файле роботс могу обратиться одновременно и ко всем поисковым системам, указав User agent: *

И после прописания правил для всех поисковиков, могу набрать User agent: yandex

Я правильно поняла???  
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 1.7.2015, 15:03; Ответить: BLIK
Сообщение #6


Анита,Не совсем понял вопроса. Файл который выше, он для всех поисковиков в том числе и Яндекс.

Закрывает все стандартное от индекса в wordpress. Если еще что надо закрыть уже дописываем сами. 
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
akmid81
akmid81
сообщение 10.7.2015, 16:52; Ответить: akmid81
Сообщение #7


Анита, BLIK_mw, прописывать в роботсе отдельные секции для разных ПС есть смысл только в том случае, если вы хотите сделать разные правила индексирвоания для разных ПС. Правила для звездочки работают и для яндекса тоже.

Директива host (единственное отличие) является внесекционной - ее не обязательно прописывать в какой-либо блок. Разместить ее можно через пропуск строки под всеми правилами.

То есть, блок для яндекса здесь лишний.

Также стоит открыть для индексирования папки с картинками и со скриптами.

Есть еще кое какие нюансы, подробнее о правильном robots.txt. для wordpress вот тут посмотреть можно - http://biznessystem.ru/2015/05/delaem-prav...dlya-wordpress/

Что касается одинакового роботса для разных сайтов - а что происходит, если разные файлы залить в разные папки? - сделайте это для первого сайта, где у вас его нет.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
BLIK
BLIK
сообщение 10.7.2015, 17:08; Ответить: BLIK
Сообщение #8


(akmid81 @ 10.7.2015, 18:52) *
То есть, блок для яндекса здесь лишний.

Спасибо за объяснение.

Единственный вопрос, а кто так решил что блок лишний? (об этом написано где?)

Справка Яндекса и у них пример иной
Директивы Disallow и Allow
 

Чтобы запретить доступ робота к сайту или некоторым его разделам, используйте директиву Disallow.

Примеры:

User-agent: Yandex

Disallow: / # блокирует доступ ко всему сайту

 

User-agent: Yandex

Disallow: /cgi-bin # блокирует доступ к страницам,  

                   # начинающимся с '/cgi-bin'

 

Источник https://help.yandex.ru/webmaster/controllin.../robots-txt.xml

Поэтому, я стараюсь делать по рекомендации и примерам поисковиков, а не проводить эксперименты.

А с robots сейчас каждый делает как захочет..

Но, все равно спасибо за такой вариант файла, но, я как нибудь по старинке буду, так надежнее и все работает и индексирует. :)
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
akmid81
akmid81
сообщение 10.7.2015, 18:25; Ответить: akmid81
Сообщение #9


(BLIK @ 10.7.2015, 19:08) *

В том же документе:
Если обнаружены директивы для конкретного робота, директивы User-agent: Yandex и User-agent: * не используются.

Внимательнее эту страницу изучите, там приведена масса примеров. Роботс будет работать и в вашем варианте правильно, только это лишних несколько десятков строк.
Робот смотрит файл и начинает обрабатывать директивы со звездочкой только в том случае, если не находит своего персонального имени. То есть если к нему обращения нет, то он читает User-agent: *
Если не верите - откройте https://webmaster.yandex.ru/robots.xml, сделайте robots только со звездным блоком и проверьте как его читает Яндекс.

Лишний код в любых файлах сайта - всегда зло.
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
ShowPrint
ShowPrint
сообщение 10.7.2015, 19:01; Ответить: ShowPrint
Сообщение #10


Задел топик и меня... =)))

(akmid81 @ 10.7.2015, 18:52) *
Директива host (единственное отличие) является внесекционной

 akmid81 а вроде везде натыкался на мнение что директива host воспринимается только Яндом и никем другим и правильнее ее прописываться в директивах именно Янда, чтоб не смущать другие ПС непонятной директивой?... Или я опять "прочел все буквы, угадал слово и не понял что оно означает"?


(BLIK @ 30.6.2015, 18:10) *
Host: sait.ru(без www прописывается адрес сайта, даже если сайт с www) 

 BLIK_mw, а куда податься бедному крестьянину если у меня главное зеркало объявлено с www? (целесообразность не обсуждаем...) То есть в директиве host все равно указывать "без www"? Конфликта не возникнет? Как проверить?


Сообщение отредактировал ShowPrint - 10.7.2015, 19:02
Вернуться в начало страницы
 
Ответить с цитированием данного сообщения
2 страниц V   1 2 >
Открыть тему
Тема закрыта
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0


Свернуть

> Похожие темы

  Тема Ответов Автор Просмотров Последний ответ
Открытая тема (нет новых ответов) Тема имеет прикрепленные файлыКакой сайт пробовать создавать под небольшое ГЕО?
6 kapusta1 1195 15.3.2024, 13:06
автор: OS_ZP_UA
Горячая тема (нет новых ответов) Исчезающие фрилансеры после предоплаты. Зачем? Какой смысл?
34 metvekot 9021 11.3.2024, 11:04
автор: wanessa
Открытая тема (нет новых ответов) Какой % отказов нормален для сайта?
9 Aloof 2360 8.3.2024, 20:41
автор: ZerKuS
Открытая тема (нет новых ответов) Через какой браузер и как можно найти в кэшэ браузера видео
9 Room 1764 26.2.2024, 21:51
автор: bestx24
Открытая тема (нет новых ответов) Кто где хранит файлы? И какой объем?
просто интересно
16 mark2013 1692 23.2.2024, 23:50
автор: bestx24


 



RSS Текстовая версия Сейчас: 19.3.2024, 14:40
Дизайн