Перейти к содержимому



Данный url запрещён к индексированию в файле robots.txt

#1 albedo
albedo
  • Пользователь
  • 642 сообщений
  • Репутация: 84
0

Обновлено 21 марта 2020 - 02:19  Отправлено 25 января 2020 - 22:05

В Вебмастере яндекса на странице

https://webmaster.ya...modified-since=

при добавлении RSS пишет

"данный url запрещён к индексированию в файле robots.txt"

кто в курсе, в чем дело и как решить?

 

В Роботсе:

Disallow: /engine/

а RSS такая:

http://САЙТ/engine/rss.php

 

может с этим как-то связано?


 

 

  • 0


#2 Totti
Totti
  • Пользователь
  • 304 сообщений
  • Репутация: 95

Отправлено 26 января 2020 - 13:36

может с этим как-то связано?
 

 

Да это может быть связано с этим т.к. ты закрыл полный путь и всё что следует после /engine/. В твоем случае существует несколько вариантов решения проблемы.

 

Использовать директиву Allow: добавить следом за директивой Disallow к примеру так  B) :

Disallow: /engine/
Allow: /engine/rss.php

Если не подойдет то как попробовать такую комбинацию прописать в конец. Таким способом ты разрешишь всем документам с .php индексировать странички после папки /engine/ - отсюда следует, что rss.php попадает под этот пункт!

Allow: /engine/*.php$ 

Второй вариант будет запрещать целиком папку /engine/ но откроет роботам путь для индексирования контента что идет за /engine/ т.е. после см.

 

Использовать доллар $ на конце папки

Disallow: /engine$

+ к вопросу прикладываю FAQ от Яндекса https://yandex.ru/su...w-disallow.html

 

Я так понимаю движок стоит DLE, поэтому сразу добавил бы дополнительно следующие данные в файл robots.txt, возможно пригодится на будущее:

Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=orderdesc
Disallow: /user/
Disallow: /tags/
Disallow: /xfsearch/*

При любой правке я как правило иду в панель Я.Вебмастера и проверяю URL-адрес на возможность запрета или открытого доступа к странице, таким образом сразу отсекаю сомнения.


  • 0

#3 albedo
albedo
    Topic Starter
  • Пользователь
  • 642 сообщений
  • Репутация: 84

Отправлено 26 января 2020 - 13:52


Allow: /engine/rss.php

спасибо, буду пробовать


  • 0


#4 Linomen
Linomen
  • Пользователь
  • 53 сообщений
  • Репутация: 2

Отправлено 21 марта 2020 - 02:19

Отписался бы хоть, помогло или нет ;)


  • 0



Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
DeHuC_64 DeHuC_64 1-й за Июнь
Очков активности: 33 0 тем, 22 сообщения, 1 балл репутации
Сайт: russiangreat.ru
ТОП самых активных за этот месяц
  • Фотография BLIK
    #1

    BLIK
    Очков активности: 54 0 тем, 18 сообщений, 2 балла репутации

  • Фотография DeHuC_64
    #2

    DeHuC_64 (russiangreat.ru)
    Очков активности: 51 Вне конкурса за определение пользователя месяца

  • Фотография BuxarNET
    #3

    BuxarNET
    Очков активности: 21 1 тема, 11 сообщений, 1 балл репутации

  • Фотография HITMAN84
    #4

    HITMAN84
    Очков активности: 16.5 2 темы, 5 сообщений, 1 балл репутации

  • Фотография vetalbon
    #5

    vetalbon
    Очков активности: 13.5 0 тем, 9 сообщений, 1 балл репутации

  • Фотография imvaisov
    #6

    imvaisov
    Очков активности: 9 2 темы, 0 сообщений, 1 балл репутации

  • Фотография doktorcrabus
    #7

    doktorcrabus
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография павелЯ
    #8

    павелЯ
    Очков активности: 9 1 тема, 3 сообщения, 1 балл репутации

  • Фотография miketomlin
    #9

    miketomlin
    Очков активности: 7.5 0 тем, 5 сообщений, 1 балл репутации

  • Фотография Constantine
    #10

    Constantine (constantinablog.ru)
    Очков активности: 7.5 1 тема, 2 сообщения, 1 балл репутации

  • Показать весь ТОП 10

Поддержите форум! =)
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru