Помощник
|
Robots |
m0tti
|
Сообщение
#1
|
||
|
|
||
|
|||
НЕПЛОХОЙ |
9.6.2009, 4:04;
Ответить: НЕПЛОХОЙ
Сообщение
#2
|
|
кстати, по этому же файлу хотел спросить, многие называют папку админ-панели как то необычно, чтобы не смогли ее найти, а если она будет прописана в robots.txt то толку то ее скрывать? а в админке поисковикам делать нефиг...
админка конечно хорошо защищена паролем, но все таки уже глубоко въелось что надо админку прятать. так вот, админку надо прописывать в роботс.тхт или нет? я нигде не видел чтоб прописывали |
|
|
ZiTosS |
9.6.2009, 11:45;
Ответить: ZiTosS
Сообщение
#3
|
|
m0tti, можно создать и пустой, это идентично:
User-agent: * Disallow: т.е. Разрешить всем роботам индексировать весь сайт Евгений, во многих движках не скрывают папку панели управления. Например в Joomla robots.txt: User-agent: * Disallow: /administrator/ Да зафиг прятать админку. Если человек захочет, то потрудившись он всё равно взломает ваш сайт. Уж не найдет вашу админку, так XSS, SQL-инъекции, SSH-доступ и много чего можно придумать |
|
|
JulyMoor |
31.5.2010, 19:17;
Ответить: JulyMoor
Сообщение
#4
|
|
"Если человек захочет, то потрудившись он всё равно взломает ваш сайт"
вы чего?? это ж для пс вы прячете, а не от людей зачем роботу индексировать админку???? также как метки, архивы, некоторые рубрики закрывают, чтоб дублей не было.. |
|
|
zatusy |
1.6.2010, 0:41;
Ответить: zatusy
Сообщение
#5
|
|
в robot лучше ещё прописать какой домен у вас главный с www или без т.к. при индексации бывают проблемы...
|
|
|
webp001 |
14.6.2010, 17:32;
Ответить: webp001
Сообщение
#6
|
|
Конечно лучше прятать те страницы, от которых нету смысла в поисковой выдаче.
Правильно составление робота для яндекса дано ниже. User-Agent: * Disallow: / (надо обязательно указать какую нибудь дерикторию, чтобы бот понял, что тут не какой то говно сайт, и есть материалы которую ненужны в поисковой выдаче) Host: www.ваш сайт.ru (дериктиву хост указываем с префиксом www, или без, смотря как в панели вебмастера добавлен ваш сайт) Sitemap: http://www.ваш сайт.ru/sitemap.xml (ну и конечно карта сайта, которую надо пинговать при изменение на сайте, так же как и канал rss) |
|
|
Matt |
14.6.2010, 20:01;
Ответить: Matt
Сообщение
#7
|
|
Для блогов и вообще везде, где используются теги и поиск по ним, необходимо их закрывать от индексации обязательно.
-------------------- |
|
|
webp001 |
15.6.2010, 0:31;
Ответить: webp001
Сообщение
#8
|
|
Для яндекса лучше закрыть, гуглу всё равно (он питается почти всем, яндекс же у нас придирается к контенту)
|
|
|
Matt |
15.6.2010, 23:45;
Ответить: Matt
Сообщение
#9
|
|
Пусть себе питается, дубли всё равно не стоит плодить.
-------------------- |
|
|
pechenki_mw |
25.7.2010, 1:03;
Ответить: pechenki_mw
Сообщение
#10
|
|
А что будет, если вообще файла робот не создавать? это как-то повлияет на поисковые машины или еще что-нить...
|
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Срочно требуется специалист по robots.txt Разовая работа |
1 | tankoff | 2187 | 8.3.2017, 1:56 автор: PavelMarty |
|
Работы по файлу robots.txt | 8 | tankoff | 3679 | 19.3.2016, 20:02 автор: tankoff |
Текстовая версия | Сейчас: 28.3.2024, 23:32 |