Перейти к содержимому



Robots

#1 m0tti
m0tti
  • Неактивные
  • 343 сообщений
  • Репутация: 0
0

Отправлено 09 Июнь 2009 - 01:15

Мне в принципе скрывать нечего, или я не знаю что скрывать. Но у меня его нет, имеет ли смысл создавать чистый или оставить так как есть?

 

 

  • 0

#2 Евгений
Евгений
  • Неактивные
  • 481 сообщений
  • Репутация: 0

Отправлено 09 Июнь 2009 - 03:04

кстати, по этому же файлу хотел спросить, многие называют папку админ-панели как то необычно, чтобы не смогли ее найти, а если она будет прописана в robots.txt то толку то ее скрывать? а в админке поисковикам делать нефиг...

админка конечно хорошо защищена паролем, но все таки уже глубоко въелось что надо админку прятать.

так вот, админку надо прописывать в роботс.тхт или нет? я нигде не видел чтоб прописывали
  • 0

#3 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 09 Июнь 2009 - 10:45

m0tti, можно создать и пустой, это идентично:

User-agent: *
Disallow:

т.е. Разрешить всем роботам индексировать весь сайт

Евгений, во многих движках не скрывают папку панели управления. Например в Joomla robots.txt:

User-agent: *
Disallow: /administrator/

Да зафиг прятать админку. Если человек захочет, то потрудившись он всё равно взломает ваш сайт. Уж не найдет вашу админку, так XSS, SQL-инъекции, SSH-доступ и много чего можно придумать
  • 0

#4 JulyMoor
JulyMoor
  • Неактивные
  • 15 сообщений
  • Репутация: 0

Отправлено 31 Май 2010 - 18:17

"Если человек захочет, то потрудившись он всё равно взломает ваш сайт"

вы чего?? это ж для пс вы прячете, а не от людей :) зачем роботу индексировать админку???? также как метки, архивы, некоторые рубрики закрывают, чтоб дублей не было..
  • 0

#5 Vov4ik
Vov4ik
  • Неактивные
  • 17 сообщений
  • Репутация: 0

Отправлено 31 Май 2010 - 23:41

в robot лучше ещё прописать какой домен у вас главный с www или без т.к. при индексации бывают проблемы...
  • 0

#6 WebP
WebP
  • Неактивные
  • 11 сообщений
  • Репутация: 0

Отправлено 14 Июнь 2010 - 16:32

Конечно лучше прятать те страницы, от которых нету смысла в поисковой выдаче.
Правильно составление робота для яндекса дано ниже.
User-Agent: *
Disallow: / (надо обязательно указать какую нибудь дерикторию, чтобы бот понял, что тут не какой то говно сайт, и есть материалы которую ненужны в поисковой выдаче)
Host: www.ваш сайт.ru (дериктиву хост указываем с префиксом www, или без, смотря как в панели вебмастера добавлен ваш сайт)
Sitemap: http://www.ваш сайт.ru/sitemap.xml (ну и конечно карта сайта, которую надо пинговать при изменение на сайте, так же как и канал rss)
  • 0

#7 Matt
Matt
  • Неактивные
  • 774 сообщений
  • Репутация: 2

Отправлено 14 Июнь 2010 - 19:01

Для блогов и вообще везде, где используются теги и поиск по ним, необходимо их закрывать от индексации обязательно.
  • 0

#8 WebP
WebP
  • Неактивные
  • 11 сообщений
  • Репутация: 0

Отправлено 14 Июнь 2010 - 23:31

Для яндекса лучше закрыть, гуглу всё равно (он питается почти всем, яндекс же у нас придирается к контенту)
  • 0

#9 Matt
Matt
  • Неактивные
  • 774 сообщений
  • Репутация: 2

Отправлено 15 Июнь 2010 - 22:45

Пусть себе питается, дубли всё равно не стоит плодить.
  • 0

#10 pechenki
pechenki
  • Неактивные
  • 12 сообщений
  • Репутация: 0

Отправлено 25 Июль 2010 - 00:03

А что будет, если вообще файла робот не создавать? это как-то повлияет на поисковые машины или еще что-нить...
  • 0

#11 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 25 Июль 2010 - 02:12

pechenki, не повлияет, это просто будет означать, что вы роботам разрешаете к индексации все ссылки (конечно не учитываем noindex и rel="nofollow")
  • 0

#12 Matt
Matt
  • Неактивные
  • 774 сообщений
  • Репутация: 2

Отправлено 25 Июль 2010 - 19:54

Многие бесплатные CMS сами создают роботс.
  • 0

#13 dymer
dymer
  • Неактивные
  • 8 сообщений
  • Репутация: 0

Отправлено 29 Сентябрь 2010 - 23:32

А файл роботс может стоять по умолчанию есть сайт с шаблона укоз?
  • 0

#14 Matt
Matt
  • Неактивные
  • 774 сообщений
  • Репутация: 2

Отправлено 29 Сентябрь 2010 - 23:48

На укозе не знаю. Есть на джумле и ДЛЕ, по-моему.
  • 0

#15 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 01 Октябрь 2010 - 21:30

dymer, что значит по умолчанию? Вообще на Ucoz можно использовать robots.txt
  • 0

#16 atog
atog
  • Неактивные
  • 18 сообщений
  • Репутация: 0

Отправлено 10 Октябрь 2010 - 18:18

Вот тут подробно расказано о файле robots.txt
http://robotstxt.org.ru/
Создавать его нужно. Для ответа на ваш вопрос нужно увидеть ваш сайт.
  • 0

#17 tati777
tati777
  • Неактивные
  • 2 сообщений
  • Репутация: 0

Отправлено 14 Октябрь 2010 - 00:03

У меня сайт на "укозе" ссылка на него в подписи. Добавила файл через панель управления сайтом Главная » Файловый менеджер . Файл назвла robots.txt. Он у меня содержит:
User-agent: *
Disallow:
Всё ли верно я сделала. Подскажите пожалуйста. :lol:
  • 0

#18 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 17 Октябрь 2010 - 11:09

tati777,
У вас не
User-agent: *
Disallow:
а
User-agent: *
Disallow: /
Таким образом вы запретили всем роботам индексацию всего сайта.
Правильный первый вариант, а не второй.
  • 0

#19 mylenta
mylenta
  • Неактивные
  • 10 сообщений
  • Репутация: 0

Отправлено 23 Октябрь 2010 - 01:38

У меня сайт на "укозе" ссылка на него в подписи. Добавила файл через панель управления сайтом Главная » Файловый менеджер . Файл назвла robots.txt. Он у меня содержит:

User-agent: *
Disallow:
Всё ли верно я сделала. Подскажите пожалуйста. :lol:

А зачем запрещать? если вам нечего писать то лучше вообще удалить (пустой robots) - тоже самое
  • 0

#20 fanya
fanya
  • Неактивные
  • 3 сообщений
  • Репутация: 0

Отправлено 27 Февраль 2011 - 16:07

Есть проблема с двойными страницами

В индексе появились страницы, как-бы составленные из двух //dekor-remont.narod.ru/shtrolenie.html/foto.html, хотя реально существуют отдельно shtrolenie.html и отдельно foto.html, причём открыть двойные страници можно, они вроде как автоматически генерируются на основе первого файла. Если не сложно, поясните, что не так и как это исправить.

Если запретить доступ через robots.txt прописав
Disallow: /shtrolenie.html/*.html
Как думаете, ускорит это устранение данной проблемы? и правильно ли я понимаю, что запретятся к индексации все двойные файлы, начинающиеся с /shtrolenie.html/, а просто shtrolenie.html будет доступна. Или всё-таки стоит подождать? Но уже две недели вебмастер выводит 43 странице в структуре сайта вместо существующих 25-и и одна двойная висит в индексе. Всё проверил, ошибочных внешних ссылок на двойные страницы нет, а внутренние есть только с этой же двойной странице. Мучает сомнение в правильности писать запрет на страницы, которых на самом деле нет.
  • 0

robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
NataliaAntalia NataliaAntalia 1-й за Октябрь
Очков активности: 480 2 темы, 58 сообщений, 5 баллов репутации
Сайт: zdorovemedicina.ru
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 156 0 тем, 13 сообщений, 8 баллов репутации

  • Фотография BLIK
    #2

    BLIK
    Очков активности: 147 0 тем, 14 сообщений, 7 баллов репутации

  • Фотография Megoydagi
    #3

    Megoydagi (24ho.ru)
    Очков активности: 75 4 темы, 13 сообщений, 2 балла репутации

  • Фотография Totti
    #4

    Totti
    Очков активности: 54 0 тем, 9 сообщений, 4 балла репутации

  • Фотография NataliaAntalia
    #5

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 51 Вне конкурса за определение пользователя месяца

  • Фотография MattCutts
    #6

    MattCutts (dmitrylee.ru)
    Очков активности: 45 Вне конкурса за определение пользователя месяца

  • Фотография miketomlin
    #7

    miketomlin
    Очков активности: 45 0 тем, 10 сообщений, 3 балла репутации

  • Фотография Vmir
    #8

    Vmir
    Очков активности: 22.5 1 тема, 12 сообщений, 1 балл репутации

  • Фотография kolver
    #9

    kolver
    Очков активности: 21 3 темы, 5 сообщений, 1 балл репутации

  • Фотография xxkillaxx
    #10

    xxkillaxx
    Очков активности: 15 1 тема, 7 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 29.10.2019
  • Яндекс выдача: 10.11.2019
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru