Перейти к содержимому



Правильно ли настроен robots.txt

#1 Вадим16

Вадим16
  • Пользователь
  • 150 сообщений
  • Репутация: 3
0

Отправлено 12 Март 2015 - 08:12

Всем привет. Вот я хотел удалить сайт из индекса яндекс через robots.txt, но я недавно менял тему. Теперь не знаю правильно ли он у меня вообще работает. Я про robots.txt. Я выполнил анализ в Яндекс.Вебмастер, так там написано это 

 

User-agent: *

Disallow: /wp-admin/      

 

Это нормально? Так должно быть? Если нет, то что там нужно написать и куда закинуть?


 

 

  • 0

#2 Evgeniy3200

Evgeniy3200
  • Пользователь PRO
  • 1 145 сообщений
  • Репутация: 264

Отправлено 12 Март 2015 - 09:11

@Вадим16,  а зачем вам удалять сайт из индекса?

User-agent: * Disallow: /wp-admin/    
это значит, что любому индексирующему роботу, любого поисковика запрещено индексировать каталог wp-admin, в остальном все остальные страницы, картинки, другие систеные папки будут проиндексированы.

  • 1

Если вы можете наугад в полной темноте пробраться к собственной кровати, ни разу не ушибившись, значит, пора путешествовать!



#3 Вадим16

Вадим16
    Topic Starter
  • Пользователь
  • 150 сообщений
  • Репутация: 3

Отправлено 12 Март 2015 - 09:33

@Evgeniy3200, А как мне убрать это ограничение, мне нужно, чтобы весь сайт был проиндексирован. И еще: я хочу удалить главную страницу сайта из яндекса, там нужно это делать через robots.txt. Что мне прописать, чтобы удалить страницу?


  • 0

#4 Sosnovskij

Sosnovskij
  • Администратор
  • 3 883 сообщений
  • Репутация: 565

Отправлено 12 Март 2015 - 11:09

@Вадим16, вы сами же себе противоречите. Нужно, чтобы весь сайт был проиндексирован и одновременно, чтобы главной страницы не было в индексе. Я бы не советовал ее исключать из индекса.

 

Robots.txt не признан исключать какие-то полезные части ресурса. Он признан исключать ненужные разделы (админка, корзина, дублирующие страницы и так далее). Если для вас настройка этого файла вызывает трудности, то просто удалите его, чтобы избежать проблем с индексацией.


  • 0

Не стесняйтесь ставить оценки темам :) Правила форума. Мой блог http://sosnovskij.ru/.



#5 Warder

Warder
  • Пользователь
  • 19 сообщений
  • Репутация: 4

Отправлено 04 Апрель 2015 - 12:29

@Вадим16, если вам нужно закрыть весь сайт от индексации, то вот: Disallow: /

@Вадим16, Если же вы хотите закрыть только главную страницу от индексации и оставить все остальные, то вот Disallow: /$


  • 0


Оформление форума – IPBSkins.ru