Перейти к содержимому



Небольшая настройка robots.txt

#1 SkeLa2221

SkeLa2221
  • Пользователь
  • 76 сообщений
  • Репутация: 1
0

Отправлено 18 Январь 2015 - 22:19

"Для корректной индексации необходимо, чтобы у робота Яндекса было разрешение на скачивание RSS-
фида в файле robots.txt.
Делается это следующим образом:
В начале файла robots.txt надо добавить следующие 3(!) строчки:
User-agent: Yandex
Allow: путь до фида без имени хоста, например /file.rss
Третья строка должна быть пустая.
Добавить их нужно обязательно в начале, а не в конце!
(Проверить корректность добавления можно тут http://webmaster.yandex.ru/robots.xml)
Если Вы используете в robots.txt директиву Crawl-delay, то необходимо убедиться, что ее значение
достаточно мало, чтобы робот мог оперативно перекачивать RSS-фид."
 
Ну вот, собственно, вопрос :) Что, откуда и куда приклеивать - объясните, пожалуйста :))

 

 

  • 0

#2 GVA

GVA
  • Супермодератор
  • 998 сообщений
  • Репутация: 201

Отправлено 18 Январь 2015 - 22:42

SkeLa2221, а вы дайте ссылочку на сайт, напишу что нужно изменить (готовый вариант)


  • 0

#3 SkeLa2221

SkeLa2221
    Topic Starter
  • Пользователь
  • 76 сообщений
  • Репутация: 1

Отправлено 18 Январь 2015 - 22:48

а вы дайте ссылочку на сайт

 

пожалуйста)) http://nnsmi.com


  • 0

#4 GVA

GVA
  • Супермодератор
  • 998 сообщений
  • Репутация: 201

Отправлено 18 Январь 2015 - 23:02

SkeLa2221, вот ваш роботс http://nnsmi.com/robots.txt (хочу сказать что для DLE он не очень хороший, если точнее, то ужасный.)

Он лежит в корне вашего сайта (скорей всего вы знаете где это, главная директория)

Замените всё содержимое на

User-agent: Yandex
Allow:  /file.rss

Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search 

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search 

ВАЖНО!  file.rss во второй строчке нужно заменить на ваш  путь до фида 

Ну и рекомендую поработать над роботс)


  • 0

#5 SkeLa2221

SkeLa2221
    Topic Starter
  • Пользователь
  • 76 сообщений
  • Репутация: 1

Отправлено 19 Январь 2015 - 17:18

ВАЖНО!  file.rss во второй строчке нужно заменить на ваш  путь до фида  Ну и рекомендую поработать над роботс)

 

ну, по вопросам, в общем :)

 

1. откуда вообще брать этот фид - в этом и был вопрос))

2. как вообще доработать этот роботс, а то я в этом полный ноль))


  • 0

#6 kamchatniyoleg

kamchatniyoleg
  • Пользователь PRO
  • 1 178 сообщений
  • Репутация: 84

Отправлено 19 Январь 2015 - 17:25

SkeLa2221, для начала установить rss модуль если его нет. А если есть, просто прописать к нему путь как вам показали на примере выше. В крайнем случае, на фл.ру помогают на ура =) 


  • 0
Сервис электронного информирования клиентов PostTrail.ru
Отслеживание посылок Почты России в автоматическом режиме! Лояльность клиента - прибыль магазина!


#7 SkeLa2221

SkeLa2221
    Topic Starter
  • Пользователь
  • 76 сообщений
  • Репутация: 1

Отправлено 19 Январь 2015 - 18:57

понимаете, разработчики движка DLE уже заранее позаботились об автоматической замене генерации RSS, как вы понимаете. То есть, где-то этот модуль есть, как я понимаю. Но вот где, есть предположения?


  • 0

#8 SkeLa2221

SkeLa2221
    Topic Starter
  • Пользователь
  • 76 сообщений
  • Репутация: 1

Отправлено 19 Январь 2015 - 22:03

разобрались с путем фида, но вот серьезно забеспокоился насчет работса. Может кто-то согласится довести файл до хорошего состояния за определенное денежное вознаграждение??))))


  • 0

robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru