Перейти к содержимому


Партнерская программа Kredov

Файл robots.txt для сайта на wordpress

#1 Isa

Isa
  • Пользователь
  • 270 сообщений
  • Репутация: 16
0

Отправлено 15 Февраль 2015 - 19:15

Доброго времени суток. Почитал в инете много информации о файле роботс тхт. Все гуру рунета дают разные файлы роботс тхт. Так какой же оптимальный набор этого файла? Так же видел в этих статья недоброжелательные коментарии снизу от людей, которые копировали данные файла, с сайтов гуру блогеров и говорили потом, что в этих файлы вобщем запрещали индексацию поисковикам. Не знаю кому верить решил спросить у вас.


 

 

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 15 Февраль 2015 - 19:25

Isa,Так как движок не сказал. Вот стандартный файл Wordpress + дополнение у меня.

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-feed
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag/
Disallow: /*.php
Host: site.ru

Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml 

Пути и host ставим свои. И карту сайта(плагины) не забываем ставить на сайт, если пути прописаны

 

P.s Дополнительно закрывается шлак если такой будет. Нужно смотреть задачи что закрывать. Я привел оптимальный файл.


Сообщение отредактировал BLIK: 15 Февраль 2015 - 19:26

  • 0


#3 Isa

Isa
    Topic Starter
  • Пользователь
  • 270 сообщений
  • Репутация: 16

Отправлено 15 Февраль 2015 - 19:44

Спасибо, создал файл скопировал содержимое. Я так понимаю его нужно туда же загрузить куда файлы яши и гугла вебмастер?

у меня тоже wp


  • 0

#4 Junk

Junk
  • Пользователь
  • 92 сообщений
  • Репутация: 10

Отправлено 15 Февраль 2015 - 20:05

Загрузить в корень сайта.

И так, на будущее, чем меньше файл роботс, тем лучше :)


  • 0

#5 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 15 Февраль 2015 - 20:37

Isa,Да, как сказали выше, загрузить в корень. И, самое главное как загрузите проверьте его в Яндексе https://webmaster.yandex.ru/robots.xml  и не забывайте прогнать пару url чтоб убедиться что лишнего не закрыли.

 

P.s Думаю host и пути к карте сайта прописали правильно и карта сайта(плагин) стоит. 


  • 0


#6 Isa

Isa
    Topic Starter
  • Пользователь
  • 270 сообщений
  • Репутация: 16

Отправлено 15 Февраль 2015 - 21:11

BLIK,  карта работает а значит и файл тоже,

и не забывайте прогнать пару url
а по каким еще нужно проверить?

  • 0

#7 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 15 Февраль 2015 - 21:18

Isa,Ну любую страницу/страницы которые должны индексироваться со своего сайта вставь и проверь не закрыто лишнего(можешь все вставить страницы в ряд с новой строки)

Пример проверил форум и этот пост.

Снимок.jpg


  • 0


#8 Isa

Isa
    Topic Starter
  • Пользователь
  • 270 сообщений
  • Репутация: 16

Отправлено 15 Февраль 2015 - 21:38

яндекс всё коректно отобразил а гугл почему-то 404 ошибку выдаёт


  • 0

#9 BLIK

BLIK
  • Супермодератор
  • 3 199 сообщений
  • Репутация: 635

Отправлено 15 Февраль 2015 - 21:49

Isa,А Гугл каким боком тут? Не понял. Пожалуйста, пиши понятнее и яснее в чем проблема и что и где отобразил и вообще куда что пихал, что у тебя получилось так, что проверял в яндексе, а гугл 404 выдал :huh:  


  • 1


#10 Isa

Isa
    Topic Starter
  • Пользователь
  • 270 сообщений
  • Репутация: 16

Отправлено 15 Февраль 2015 - 21:54

в яндексе проверил по выше указанному адресу всё рабоатет а в панели гугл вебмастер проверил карту сайта и Общая ошибка HTTP: 404 Не найдено плагин установил вроде что ему не нравится?


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru