Перейти к содержимому



Robots.txt

#1 ThisFIL
ThisFIL
  • Неактивные
  • 114 сообщений
  • Репутация: 0
0

Обновлено 02 ноября 2010 - 13:42  Отправлено 22 февраля 2008 - 15:31

Как правильно писать этот фаил?

Для чего он нужен? (Я конечно знаю, но не понимаю зачем
что либо закрывать от бота?)

Какие нужно соблюдать правила при написании этого фаила? И как его вопче писать?

 

 

  • 0

#2 Odmen
Odmen
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 56

Отправлено 22 февраля 2008 - 17:29

Ну начать нужно с того, что не robot.txt, а robots.txt.
Размещать файл robots.txt нужно в корень сайта, в нём нужно прописывать так называемые исключения для поисковых роботов. Разделять эти исключения нужно пустой строчкой.
  • 0

#3 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 23 февраля 2008 - 04:04

Дабы не копипастить, дам вам ссылку на прочтнение...
http://ru.wikipedia....wiki/Robots.txt

И ещё, полно видел полезной инфы связанной с robots.txt стоит поискать в яше или гугле
  • 0

#4 Гость_vladivostok.fm_*
Гость_vladivostok.fm_*
  • Гости

Отправлено 04 мая 2009 - 18:17

Подскажите пожалуйста. Почему в статистике просмотров - Яндексом каждый день 1
Вот : http://vladivostok.fm/robot.txt
  • 0

#5 Galeodor
Galeodor
  • Неактивные
  • 1 172 сообщений
  • Репутация: 2

Отправлено 04 мая 2009 - 19:13

может потому что 1 раз смотрит?
  • 0

#6 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 04 мая 2009 - 19:13

vladivostok.fm,
1) прочитайте второе сообщение:

Ну начать нужно с того, что не robot.txt, а robots.txt....

2) Allow - нет такой директивы, есть только Disallow

И вопроса не понял? Вы в счётчике Liveinternet смотрите? Вообще там вроде нету такой статистики, как просмотр вашей страницы ботами. А если быть точным, то файл robots.txt никак не влияет на посещалку вашего сайта. Файл создан для роботов поисковых систем, а не для пользователей.
  • 0

#7 telepun
telepun
  • Неактивные
  • 159 сообщений
  • Репутация: 0

Отправлено 04 мая 2009 - 21:35

2) Allow - нет такой директивы, есть только Disallow

Вот вы пишите, что директивы Allow нет, а в указанной вами статье в Википедии написано:

Allow: имеет действие, обратное директиве Disallow — разрещает доступ к определенной части ресурса.

Кроме того в разделе Яндекс.Вебмастер Использование robots.txt есть пункт "2. Использование директив Disallow и Allow", в котором подробно описывается использование данной директивы.
  • 0

#8 ZiTosS
ZiTosS
  • Неактивные
  • 5 148 сообщений
  • Репутация: 8

Отправлено 04 мая 2009 - 21:49

Возможно она и есть, но не все боты её понимают
http://google.ru/robots.txt
Вот здесь тоже есть директивы Allow, но использованы они очень редко.
http://help.yandex.r...ster/?id=996567
Яндекс пишет про свой анализатор, ну не как не про все поисковые системы...
  • 0

#9 Гость_Serebrjany mir_*
Гость_Serebrjany mir_*
  • Гости

Отправлено 03 октября 2009 - 02:52

А ты уверен, что он тебе нужен? В принципе он сделан для того чтобы поисковики не индексировали какие-либо разделы сайта, типа корзина пользователя в online магазинах; пароли участников сайта. А если тебе особо нечего закрывать от поисковиков то можешь создать пустой текстовый файл robots.txt, то есть разрешение на индексацию всеми поисковыми роботами всего сайта.
  • 0

#10 Odmen
Odmen
  • Пользователь PRO
  • 5 275 сообщений
  • Репутация: 56

Отправлено 03 октября 2009 - 10:08

пароли участников сайта

Пароли пользователей хранятся в зашифрованном виде в БД. Если бы пароли хранились на страницах сайтов, то было бы что-то типа:
"Вы не можете использовать этот пароль, потому что его использует пользователь под ником Vasya" :)
  • 0

#11 Artpsiholog Artalexa-Jt
Artpsiholog Artalexa-Jt
  • Неактивные
  • 24 сообщений
  • Репутация: 0

Отправлено 03 октября 2009 - 20:35

http://robotstxt.org.ru/ Думаю, здесь собрано максимум полезного по файлу robots.txt. :)
  • 0

#12 FaTeRy
FaTeRy
  • Неактивные
  • 480 сообщений
  • Репутация: 1

Отправлено 03 октября 2009 - 22:54

http://robotstxt.org.ru/ Думаю, здесь собрано максимум полезного по файлу robots.txt. :)

Да, верно. Сам хотел скинуть этот сайт.
  • 0

#13 KJGoodWork
KJGoodWork
  • Неактивные
  • 11 сообщений
  • Репутация: 0

Отправлено 04 октября 2009 - 09:12

robots.txt важный файл для каждого сайта, советую его написать !
  • 0

#14 oVr
oVr
  • Неактивные
  • 7 сообщений
  • Репутация: 0

Отправлено 13 марта 2010 - 20:16

Спасибо за инфу. Сколько тусуюсь в этих доменах, хостингах, но всё время никак не мог сообразить, для чего этот robots.txt
Теперь ясно, спасибо.
  • 0

#15 gancher
gancher
  • Неактивные
  • 4 сообщений
  • Репутация: 0

Отправлено 24 октября 2010 - 08:46

Насколько мне известно, наличие robots.txt необязательно.
Поисковики итак добавят.
По крайней мере на укозе точно.
  • 0

#16 Skeptik
Skeptik
  • Неактивные
  • 197 сообщений
  • Репутация: 0

Отправлено 02 ноября 2010 - 13:42

Обязательно, если вы что-то хотите открыть для индексации на сайте, а что-то запретить.
  • 0

robot
robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
DeHuC_64 DeHuC_64 1-й за Июнь
Очков активности: 33 0 тем, 22 сообщения, 1 балл репутации
Сайт: russiangreat.ru
ТОП самых активных за этот месяц
  • Фотография BLIK
    #1

    BLIK
    Очков активности: 66 0 тем, 22 сообщения, 2 балла репутации

  • Фотография DeHuC_64
    #2

    DeHuC_64 (russiangreat.ru)
    Очков активности: 64.5 Вне конкурса за определение пользователя месяца

  • Фотография doktorcrabus
    #3

    doktorcrabus
    Очков активности: 22.5 3 темы, 6 сообщений, 1 балл репутации

  • Фотография BuxarNET
    #4

    BuxarNET
    Очков активности: 21 1 тема, 11 сообщений, 1 балл репутации

  • Фотография HITMAN84
    #5

    HITMAN84
    Очков активности: 21 3 темы, 5 сообщений, 1 балл репутации

  • Фотография WGN
    #6

    WGN (worldgamenews.com)
    Очков активности: 13.5 1 тема, 6 сообщений, 1 балл репутации

  • Фотография vetalbon
    #7

    vetalbon
    Очков активности: 13.5 0 тем, 9 сообщений, 1 балл репутации

  • Фотография Blogger
    #8

    Blogger (blogroot.ru)
    Очков активности: 12 0 тем, 8 сообщений, 1 балл репутации

  • Фотография павелЯ
    #9

    павелЯ
    Очков активности: 10.5 1 тема, 4 сообщения, 1 балл репутации

  • Фотография imvaisov
    #10

    imvaisov
    Очков активности: 9 2 темы, 0 сообщений, 1 балл репутации

  • Показать весь ТОП 10

Поддержите форум! =)
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru