Перейти к содержимому


Партнерская программа Kredov

Robots.txt для Wp

#1 Kolba

Kolba
  • Пользователь
  • 28 сообщений
  • Репутация: 0
0

Отправлено 30 Январь 2016 - 19:41

Правильно ли написан вот этот  Robots.txt?

 

User-agent: *
Disallow: /wp-
Disallow: *?s=
Disallow: *?attachment_id=
Disallow: */feed
Disallow: /xmlrpc.php
Disallow: */page/ 
Allow: */uploads
Allow: *.js 
Allow: *.css 
Sitemap: ...
Host: ...

 


 

 

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85
Советую обратить внимание на следующее:
  1. Robots.txt для Wordpress
  2. Robots.txt для wordpress
  3. Корректность robots.txt для wordpress
  4. Файл robots.txt для сайта на wordpress
  5. В какой дериктории должен находиться файл robots.txt

#2 TimurR

TimurR
  • Пользователь PRO
  • 831 сообщений
  • Репутация: 180

Отправлено 30 Январь 2016 - 22:19

@Kolba, если не ошибаюсь ссылки на комментарии тоже нужно закрывать. Например, wordpress.org/article.html#comments получается это дубль страницы wordpress.org/article.html

Вот хорошая статья по этому поводу.


  • 0

Рекомендую хостинг: www.ihc.ru

Разработка сайтов / Дизайн / Верстка - писать в л.с.



#3 Kolba

Kolba
    Topic Starter
  • Пользователь
  • 28 сообщений
  • Репутация: 0

Отправлено 31 Январь 2016 - 11:54

@TimurR,Но конкретно в данном robots.txt все правильно?Будет индексировать? Ссылки то я закрою... 


  • 0

#4 TimurR

TimurR
  • Пользователь PRO
  • 831 сообщений
  • Репутация: 180

Отправлено 31 Январь 2016 - 23:06

@Kolba, да. 


  • 0

Рекомендую хостинг: www.ihc.ru

Разработка сайтов / Дизайн / Верстка - писать в л.с.



#5 Kolba

Kolba
    Topic Starter
  • Пользователь
  • 28 сообщений
  • Репутация: 0

Отправлено 01 Февраль 2016 - 17:40

@TimurR,Комментарии закрываются вот этим? Disallow: /comments


  • 0

#6 Lydmila

Lydmila
  • Пользователь
  • 156 сообщений
  • Репутация: 21

Отправлено 01 Февраль 2016 - 18:06

Знатоки советуют вот как то так..

User-agent: Mediapartners-Google
Disallow:
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
  
User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: ваш сайт
 
Sitemap: ваш сайт/sitemap.xml
Sitemap: ваш сайт/sitemap.xml.gz
 
Нормально работает...

Сообщение отредактировал Lydmila: 01 Февраль 2016 - 18:07

  • 0

#7 Kolba

Kolba
    Topic Starter
  • Пользователь
  • 28 сообщений
  • Репутация: 0

Отправлено 01 Февраль 2016 - 18:56

@Lydmila,Благодарю.


  • 0

#8 Lydmila

Lydmila
  • Пользователь
  • 156 сообщений
  • Репутация: 21

Отправлено 02 Февраль 2016 - 04:14

@Kolba, Уточню 3 последние строчки:

 

 Host: ваш сайт

 
Sitemap: http://ваш сайт/sitemap.xml
Sitemap: http://ваш сайт/sitemap.xml.gz

  • 0

#9 Kolba

Kolba
    Topic Starter
  • Пользователь
  • 28 сообщений
  • Репутация: 0

Отправлено 02 Февраль 2016 - 17:15

@Lydmila,  Sitemap: http://ваш сайт/sitemap.xml.gz-Это зачем?


  • 0

#10 Lydmila

Lydmila
  • Пользователь
  • 156 сообщений
  • Репутация: 21

Отправлено 02 Февраль 2016 - 17:32

Честно? Не знаю, но работает! :o  так советовали спецы... Я эти роботсы чуть не каждый год меняю в соответствии с "закидонами" Яши  :blink:


Сообщение отредактировал Lydmila: 02 Февраль 2016 - 17:42

  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru