Перейти к содержимому

Сервис обмена электронных валют

Партнерская программа Kredov

Robots.txt

#1 ThisFIL

ThisFIL
  • Пользователь
  • 114 сообщений
  • Репутация: 0
0

Отправлено 22 Февраль 2008 - 15:31

Как правильно писать этот фаил?

Для чего он нужен? (Я конечно знаю, но не понимаю зачем
что либо закрывать от бота?)

Какие нужно соблюдать правила при написании этого фаила? И как его вопче писать?

 

 

  • 0

#2 admin

admin
  • Пользователь PRO
  • 5 272 сообщений
  • Репутация: 54

Отправлено 22 Февраль 2008 - 17:29

Ну начать нужно с того, что не robot.txt, а robots.txt.
Размещать файл robots.txt нужно в корень сайта, в нём нужно прописывать так называемые исключения для поисковых роботов. Разделять эти исключения нужно пустой строчкой.
  • 0

Сколько лет прошло, а ссылки всё ещё лучше покупать тут



#3 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 23 Февраль 2008 - 04:04

Дабы не копипастить, дам вам ссылку на прочтнение...
http://ru.wikipedia....wiki/Robots.txt

И ещё, полно видел полезной инфы связанной с robots.txt стоит поискать в яше или гугле
  • 0

#4 Гость_vladivostok.fm_*

Гость_vladivostok.fm_*
  • Гости

Отправлено 04 Май 2009 - 18:17

Подскажите пожалуйста. Почему в статистике просмотров - Яндексом каждый день 1
Вот : http://vladivostok.fm/robot.txt
  • 0

#5 Galeodor

Galeodor
  • Пользователь
  • 1 172 сообщений
  • Репутация: 2

Отправлено 04 Май 2009 - 19:13

может потому что 1 раз смотрит?
  • 0

#6 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 04 Май 2009 - 19:13

vladivostok.fm,
1) прочитайте второе сообщение:

Ну начать нужно с того, что не robot.txt, а robots.txt....

2) Allow - нет такой директивы, есть только Disallow

И вопроса не понял? Вы в счётчике Liveinternet смотрите? Вообще там вроде нету такой статистики, как просмотр вашей страницы ботами. А если быть точным, то файл robots.txt никак не влияет на посещалку вашего сайта. Файл создан для роботов поисковых систем, а не для пользователей.
  • 0

#7 telepun

telepun
  • Пользователь
  • 159 сообщений
  • Репутация: 0

Отправлено 04 Май 2009 - 21:35

2) Allow - нет такой директивы, есть только Disallow

Вот вы пишите, что директивы Allow нет, а в указанной вами статье в Википедии написано:

Allow: имеет действие, обратное директиве Disallow — разрещает доступ к определенной части ресурса.

Кроме того в разделе Яндекс.Вебмастер Использование robots.txt есть пункт "2. Использование директив Disallow и Allow", в котором подробно описывается использование данной директивы.
  • 0

#8 ZiTosS

ZiTosS
  • Пользователь
  • 5 148 сообщений
  • Репутация: 8

Отправлено 04 Май 2009 - 21:49

Возможно она и есть, но не все боты её понимают
http://google.ru/robots.txt
Вот здесь тоже есть директивы Allow, но использованы они очень редко.
http://help.yandex.r...ster/?id=996567
Яндекс пишет про свой анализатор, ну не как не про все поисковые системы...
  • 0

#9 Гость_Serebrjany mir_*

Гость_Serebrjany mir_*
  • Гости

Отправлено 03 Октябрь 2009 - 02:52

А ты уверен, что он тебе нужен? В принципе он сделан для того чтобы поисковики не индексировали какие-либо разделы сайта, типа корзина пользователя в online магазинах; пароли участников сайта. А если тебе особо нечего закрывать от поисковиков то можешь создать пустой текстовый файл robots.txt, то есть разрешение на индексацию всеми поисковыми роботами всего сайта.
  • 0

#10 admin

admin
  • Пользователь PRO
  • 5 272 сообщений
  • Репутация: 54

Отправлено 03 Октябрь 2009 - 10:08

пароли участников сайта

Пароли пользователей хранятся в зашифрованном виде в БД. Если бы пароли хранились на страницах сайтов, то было бы что-то типа:
"Вы не можете использовать этот пароль, потому что его использует пользователь под ником Vasya" :)
  • 0

Сколько лет прошло, а ссылки всё ещё лучше покупать тут



robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru