Перейти к содержимому



Robots

#1 m0tti

m0tti
  • Пользователь
  • 343 сообщений
  • Репутация: 0
0

Отправлено 09 Июнь 2009 - 01:15

Мне в принципе скрывать нечего, или я не знаю что скрывать. Но у меня его нет, имеет ли смысл создавать чистый или оставить так как есть?

 

 

  • 0

#2 Евгений

Евгений
  • Пользователь
  • 481 сообщений
  • Репутация: 0

Отправлено 09 Июнь 2009 - 03:04

кстати, по этому же файлу хотел спросить, многие называют папку админ-панели как то необычно, чтобы не смогли ее найти, а если она будет прописана в robots.txt то толку то ее скрывать? а в админке поисковикам делать нефиг...

админка конечно хорошо защищена паролем, но все таки уже глубоко въелось что надо админку прятать.

так вот, админку надо прописывать в роботс.тхт или нет? я нигде не видел чтоб прописывали
  • 0

#3 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 09 Июнь 2009 - 10:45

m0tti, можно создать и пустой, это идентично:

User-agent: *
Disallow:

т.е. Разрешить всем роботам индексировать весь сайт

Евгений, во многих движках не скрывают папку панели управления. Например в Joomla robots.txt:

User-agent: *
Disallow: /administrator/

Да зафиг прятать админку. Если человек захочет, то потрудившись он всё равно взломает ваш сайт. Уж не найдет вашу админку, так XSS, SQL-инъекции, SSH-доступ и много чего можно придумать
  • 0

#4 JulyMoor

JulyMoor
  • Пользователь
  • 15 сообщений
  • Репутация: 0

Отправлено 31 Май 2010 - 18:17

"Если человек захочет, то потрудившись он всё равно взломает ваш сайт"

вы чего?? это ж для пс вы прячете, а не от людей :) зачем роботу индексировать админку???? также как метки, архивы, некоторые рубрики закрывают, чтоб дублей не было..
  • 0

#5 Vov4ik

Vov4ik
  • Пользователь
  • 17 сообщений
  • Репутация: 0

Отправлено 31 Май 2010 - 23:41

в robot лучше ещё прописать какой домен у вас главный с www или без т.к. при индексации бывают проблемы...
  • 0

#6 WebP

WebP
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 14 Июнь 2010 - 16:32

Конечно лучше прятать те страницы, от которых нету смысла в поисковой выдаче.
Правильно составление робота для яндекса дано ниже.
User-Agent: *
Disallow: / (надо обязательно указать какую нибудь дерикторию, чтобы бот понял, что тут не какой то говно сайт, и есть материалы которую ненужны в поисковой выдаче)
Host: www.ваш сайт.ru (дериктиву хост указываем с префиксом www, или без, смотря как в панели вебмастера добавлен ваш сайт)
Sitemap: http://www.ваш сайт.ru/sitemap.xml (ну и конечно карта сайта, которую надо пинговать при изменение на сайте, так же как и канал rss)
  • 0

#7 Matt

Matt
  • Пользователь
  • 774 сообщений
  • Репутация: 2

Отправлено 14 Июнь 2010 - 19:01

Для блогов и вообще везде, где используются теги и поиск по ним, необходимо их закрывать от индексации обязательно.
  • 0

#8 WebP

WebP
  • Пользователь
  • 11 сообщений
  • Репутация: 0

Отправлено 14 Июнь 2010 - 23:31

Для яндекса лучше закрыть, гуглу всё равно (он питается почти всем, яндекс же у нас придирается к контенту)
  • 0

#9 Matt

Matt
  • Пользователь
  • 774 сообщений
  • Репутация: 2

Отправлено 15 Июнь 2010 - 22:45

Пусть себе питается, дубли всё равно не стоит плодить.
  • 0

#10 pechenki

pechenki
  • Пользователь
  • 12 сообщений
  • Репутация: 0

Отправлено 25 Июль 2010 - 00:03

А что будет, если вообще файла робот не создавать? это как-то повлияет на поисковые машины или еще что-нить...
  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru