[X] Помощник

[ADIMAG Topic Starter]

Здравствуйте! У меня есть несколько вопросов по файлу robots.txt. просто хочу убедиться правильно ли я понимаю. У меня сайт на Joomla! 3.
1) вопрос – есть папка «images». В ней располагаются папки «1», «2», «banners», «headers», «remote», «sampledata», «thumbnails» и ещё три файла «index.html», «joomla_black.png» и «powered_by.png». Мне нужно чтобы к индексации была бы разрешена только папка «2». Правильна ли будет такая запись:
User-agent: *
Disallow: / images /
Allow:   / images /2/

2) второй вопрос – правильна ли эта запись:
User-agent: *
Disallow: *?*
 Или будет правильно так:
User-agent: *
Disallow: /*?
Если обе правильны, то в чём разница. И ещё если есть эта запись, то нужны ли эти записи выделенные красным:
User-agent: *
Disallow: *?* (или такая Disallow: /*?)
Disallow: /*=atom      #Запрещаем RSS
Disallow: /*=rss      #Запрещаем RSS
По сути в ссылках RSS-ленты, в их путях, знак вопроса присутствует, значит она уже будет запрещена к индексации. Тогда по логике эти дополнительные записи не к чему, или всё же их также надо прописывать если хочу запретить к индексации.
Заранее спасибо.

[sosnovskij]

ADIMAG, 
1. Корректный вариант

Allow: /images/2/
Disallow: /images/

У вас перебор с пробелами.

2. Корректный вариант

User-agent: *
Disallow: /*?

Слеш + звездочка идет в конце по-умолчанию.

Если URL с rss и feed содержат знак вопроса, то дополнительно данные правила указывать не надо.

[ADIMAG Topic Starter]

У вас перебор с пробелами.

За пробелы спасибо что-то вылетело из головы.

[ADIMAG Topic Starter]

И у меня ещё один вопрос. У меня на главной странице есть главное меню с выпадающими подпунктами. Если я хочу запретить их к индексации, то в настройках меню я должен поставить «noindex и nofollow». Если я поставлю «noindex  и nofollow», то у меня будет запрет на индексацию пунктов меню и при этом конечные страницы на которые ведут эти пункты меню затронуты не будут или страницы с материалами также будут запрещены к индексации.

[fedornabilkin]

Запрет индексации контента отдельно от запрета индексации страниц. Поэтому страницы надо дополнительно в robots.txt добавить.

[sosnovskij]

ADIMAG, вы хотите страницы меню закрыть от индексации или само меню?

[ADIMAG Topic Starter]

@ADIMAG, вы хотите страницы меню закрыть от индексации или само меню?

Я хочу закрыть само меню или точнее сказать его пункты, а страницы на которое ведёт меню оставить.
У меня получается три меню. Первое меню самое верхнее с пунктом «Главная», с ним пока я ещё не знаю что ещё делать, наверное не стоит его закрывать от индексации. Второе меню которое расположено ниже с буквами «А, Б,….,Я» никуда не ведёт, только на пустые категории, так как эти меню привязаны к этим категориям с такими же буквами, кроме букв «Ь» и «Ъ» - эти уже ведут на конкретные страницы. Это второе меню служит для открытия других меню, третье по счету если смотреть сверху вниз, с буквами «Аа, Аб,…, Ая» и так далее по каждой букве алфавита. Я в этом втором меню установил «No index» и «No follow», так же закрыл через «robots.txt» - посмотрим, что получится.
Третье меню. Вот тут при нажатии предположим на пункт «Аа» отрывается категория с содержимым, таблицей и ссылками на конкретные страницы. Вот тут я думаю поставить первый параметр «No index», а второй «Follow» и закрыть через «robots.txt», вернее через «robots.txt» уже закрыл, а параметры «No index» и «Follow» пока ещё не ставил, думаю нужно ли?
Параметры – Follow, Index, No follow, No index выставлял через настройки пунктов меню.
Если хотите пройдите на сайт и сами посмотрите, и хотел бы узнать что посоветуете.
Адрес моего сайта - http://geography-a.ru/.
И ещё вебмастер от Яндекса показал что у меня появились вот такие страницы.
http://geography-a.ru/africa/afrikanskiy-s...rents-tsentr-as
http://geography-a.ru/author/admin/page/3
Хотя реальная страница вот такая - http://geography-a.ru/menu-3-1/3-v-bukva.html.
Не подскажите как правильно написать 301 редирект на эту страницу, а тоя пока в этом не селён.
За ранее спасибо.

[sosnovskij]

В таком случае правильнее говорить не о меню, а о страницах меню. Меню - это html код на странице. Страницы меню - это отдельные документы.

Я в этом втором меню установил «No index» и «No follow», так же закрыл через «robots.txt» - посмотрим, что получится.

Поисковый робот в таком случае не будет ходить по ссылкам "Аа", "Аб" и так далее. Если хотите закрыть от индексации, то просто noindex, но follow. 

Третье меню. Вот тут при нажатии предположим на пункт «Аа» отрывается категория с содержимым, таблицей и ссылками на конкретные страницы. Вот тут я думаю поставить первый параметр «No index», а второй «Follow» и закрыть через «robots.txt», вернее через «robots.txt» уже закрыл, а параметры «No index» и «Follow» пока ещё не ставил, думаю нужно ли?

Страница закрывается либо в robots.txt (менее предпочтительно), либо мета-тегом <meta name="robots". Дублировать запрет не совсем корректно.

По дублям страниц создайте отдельную тему.

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.