[X] Помощник

[Иса Topic Starter]

Доброго времени суток. Почитал в инете много информации о файле роботс тхт. Все гуру рунета дают разные файлы роботс тхт. Так какой же оптимальный набор этого файла? Так же видел в этих статья недоброжелательные коментарии снизу от людей, которые копировали данные файла, с сайтов гуру блогеров и говорили потом, что в этих файлы вобщем запрещали индексацию поисковикам. Не знаю кому верить решил спросить у вас.

[BLIK]

[member=Isa],Так как движок не сказал. Вот стандартный файл Wordpress + дополнение у меня.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml 

Пути и host ставим свои. И карту сайта(плагины) не забываем ставить на сайт, если пути прописаны

P.s Дополнительно закрывается шлак если такой будет. Нужно смотреть задачи что закрывать. Я привел оптимальный файл.


Сообщение отредактировал BLIK - 15.2.2015, 20:26

[Иса Topic Starter]

Спасибо, создал файл скопировал содержимое. Я так понимаю его нужно туда же загрузить куда файлы яши и гугла вебмастер?
у меня тоже wp

[Junk_mw]

Загрузить в корень сайта.
И так, на будущее, чем меньше файл роботс, тем лучше :)

[BLIK]

[member=Isa],Да, как сказали выше, загрузить в корень. И, самое главное как загрузите проверьте его в Яндексе https://webmaster.yandex.ru/robots.xml  и не забывайте прогнать пару url чтоб убедиться что лишнего не закрыли.

P.s Думаю host и пути к карте сайта прописали правильно и карта сайта(плагин) стоит. 

[Иса Topic Starter]

[member=BLIK],  карта работает а значит и файл тоже,

и не забывайте прогнать пару url

а по каким еще нужно проверить?

[BLIK]

[member=Isa],Ну любую страницу/страницы которые должны индексироваться со своего сайта вставь и проверь не закрыто лишнего(можешь все вставить страницы в ряд с новой строки)
Пример проверил форум и этот пост.

[Иса Topic Starter]

яндекс всё коректно отобразил а гугл почему-то 404 ошибку выдаёт

[BLIK]

[member=Isa],А Гугл каким боком тут? Не понял. Пожалуйста, пиши понятнее и яснее в чем проблема и что и где отобразил и вообще куда что пихал, что у тебя получилось так, что проверял в яндексе, а гугл 404 выдал :huh:  

[Иса Topic Starter]

в яндексе проверил по выше указанному адресу всё рабоатет а в панели гугл вебмастер проверил карту сайта и Общая ошибка HTTP: 404 Не найдено плагин установил вроде что ему не нравится?