[X] Помощник

[Zhil_hb Topic Starter]

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.

Вот такое сообщение у мня появилось в панели вебмастера Гугл.  Рекомендации по исправлению - открыть индексацию в файле робота. 

Файлы css / js находяться в паках шаблона / плагинов / модулей. И путь к этим папкам действительно закрыт.

Кто что думает, как решить проблему, стоит открывать?
Может открыть только для гугли?

[BLIK]

Evgeniy3200, Это эпидемия прям).

Скажу одно, у меня "много" сайтов, там где дизайны адаптивные(именно адаптивные), таких писем не было, там где НЕ адаптивные и нет мобильной версии, сообщения были.

Я ничего ему не открывал, если я ему открою эти файлы, то в соплях в выдачи появятся еще и скрипты.

И так появляются приходится руками из выдачи удалять.

P.s А так открой ему примерно так

Allow: /templates/*.css
Allow: /templates/*.js 

смотря какой у тебя путь такие и надо правила.

Я не открывал по причине того что сайты старые и не особо важны для меня, а так может и открыл бы....

[ShowPrint]

Не уверен что правильно, но я бы открыл... Без доступа к css сохраненная копия в ПС может выглядеть "как попало", за что можно поплатиться...
<offtop на тему>

1. Пока "рожал"BLIK_mw написал: идея в голову пришла: а если попробовать после правила закрытия папки написать правило открытия js и css, мы привыкли что в robots есть директива "запрещающая", но редко вспоминаем что есть "разрешающая"...


2. Может стоит поработать с правилом и закрыть не папки, а типы файлов в них, те которые могут в индексе зацепиться... Сами по себе прилинкованные js и css я никогда не встречал в индексе...

</offtop>

[Zhil_hb Topic Starter]

BLIK_mw,ShowPrint,

У меня в файле робота есть такое правило:

Disallow: /templates/ 

 Значит те файлы, которые просит открыть Гугл, находятся по следующему пути:
1 /templates/beez3/css/файлы таблиц стилей
2 /templates/beez3/javascript/файлы скриптов которые в шаблоне используются


т.е. по сути не должно быть проблем с выдачей и лишних страниц, если я их открою.

Как мне правильно прописать правило для открытия нужной мне папки в закрытой? Т.е. в папке /templates я хочу открыть только 2 папки, с css и javascript, а все остальные оставить запрещенные к индексации.

И вопрос второй: правило наверное лучше прописать и для Яндекса тоже? ведь он тоже индексирует все, хоть и не выдает ошибки.

[ShowPrint]

Evgeniy3200, попробуй после Disallow поставить 

Allow: /templates/beez3/css/

 и в проверке robots.txt в ЯВМ укажи полный путь одного из css-файлов, он тебе напишет разрешен или запрещен к нему доступ...

[Zhil_hb Topic Starter]

ShowPrint,  все вроде корректно работает, нужные файлы видит, не нужные не видит! Спасибо.

[mwhide=50]
А еще тогда попутный вопрос: у меня в файле есть правила, которые касаются всех ботов, а есть правила сугубо для ЯндексБота.
Так вот эти правила дублируются, но только с небольшими изменениями. Это правильно?

Для примера сбрасываю теперешний файл робота, который родился после перелопачивнаия кучи литературы:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Allow: /templates/beez3/css/
Allow: /templates/beez3/javascript/
Disallow: /tmp/
Disallow: /search/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*?Itemid*
Disallow: /404
Allow: /images/
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Host: everest-tour.by
Sitemap: http://everest-tour.by/index.php?option=com_xmap&view=xml&tmpl=component&id=1

User-agent: Yandex
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Allow: /templates/beez3/css/
Allow: /templates/beez3/javascript/
Disallow: /tmp/
Disallow: /search/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*?Itemid*
Disallow: /404
Allow: /images/
Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Clean-param: Itemid /
Crawl-delay: 5 

После проверки в ЯВБ по сути ошибок нету, и пишет какие строки бот Яндекса использует. В итоге при таком файле использует все, что надо.
[/mwhide]

[ShowPrint]

Evgeniy3200, дубль правил с небольшими изменениями - нормальная ситуация...

Проверь (почитай) про два момента:
1. Про  Sitemap...  У меня он стоит в конце файла, если он стоит "до" правил для Я - правильно ли это??? Не получается ли что он для всех, кроме Я? Или так и задумано?
2. Про Host... Вроде это директива чуть ли не только для Я... И если я помню, то она должна стоять последней... (Строка с Sitemap - не считается)

<offtop>

Никогда не понимал смысл директив открытия, для того что не закрыто (например /images/)... Всегда считал, что все что не запрещено - разрешено... Могу ошибаться, т.к. отношу себя к категории ламмеров ;)

</offtop>

[akmid81]

Evgeniy3200, С первого взгляда мне эти требования Гугла показались странными. Поэтому, для верности провел эксперимент над своим сайтом (вот тема на форуме с экспериментом), сделал все как просил - открыл доступ ко всему. Тем более, Гугл грозился понижать в выдаче сайты, не выполняющие требования. 4 месяца наблюдал - результат абсолютно нулевой - никаких изменений не произошло ни в лучшую ни в худшую сторону - позиции остались примерно те же, трафик также не вырос.

Мое итоговое мнение - можно не обращать внимания на это сообщение, ни на что скрипты и стили не повлияют.

[Cern]

Мне такое сообщение тоже пришло еще летом. Пошуршал по форумам, подумал и пришел к выводу, что открытие или закрытие пути к индексации ни на что не повлияет. Изменений для сайта в выдаче гугла не произошло. И сообщение выше подтверждает мои выводы. 

Замечание модератора: Эта тема была закрыта автоматически ввиду отсутствия активности в ней на протяжении 100+ дней. Если Вы считаете ее актуальной и хотите оставить сообщение, то воспользуйтесь кнопкой или обратитесь к любому из модераторов.