Перейти к содержимому



Данный url запрещён к индексированию в файле robots.txt

#1 albedo
albedo
  • Пользователь
  • 576 сообщений
  • Репутация: 80
0

Отправлено 25 Январь 2020 - 22:05

В Вебмастере яндекса на странице

https://webmaster.ya...modified-since=

при добавлении RSS пишет

"данный url запрещён к индексированию в файле robots.txt"

кто в курсе, в чем дело и как решить?

 

В Роботсе:

Disallow: /engine/

а RSS такая:

http://САЙТ/engine/rss.php

 

может с этим как-то связано?


 

 

  • 0

Что вообще в мире творится? Онлайн Новости



#2 Totti
Totti
  • Пользователь
  • 271 сообщений
  • Репутация: 85

Отправлено 26 Январь 2020 - 13:36

может с этим как-то связано?
 

 

Да это может быть связано с этим т.к. ты закрыл полный путь и всё что следует после /engine/. В твоем случае существует несколько вариантов решения проблемы.

 

Использовать директиву Allow: добавить следом за директивой Disallow к примеру так  B) :

Disallow: /engine/
Allow: /engine/rss.php

Если не подойдет то как попробовать такую комбинацию прописать в конец. Таким способом ты разрешишь всем документам с .php индексировать странички после папки /engine/ - отсюда следует, что rss.php попадает под этот пункт!

Allow: /engine/*.php$ 

Второй вариант будет запрещать целиком папку /engine/ но откроет роботам путь для индексирования контента что идет за /engine/ т.е. после см.

 

Использовать доллар $ на конце папки

Disallow: /engine$

+ к вопросу прикладываю FAQ от Яндекса https://yandex.ru/su...w-disallow.html

 

Я так понимаю движок стоит DLE, поэтому сразу добавил бы дополнительно следующие данные в файл robots.txt, возможно пригодится на будущее:

Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=favorites
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*do=orderdesc
Disallow: /user/
Disallow: /tags/
Disallow: /xfsearch/*

При любой правке я как правило иду в панель Я.Вебмастера и проверяю URL-адрес на возможность запрета или открытого доступа к странице, таким образом сразу отсекаю сомнения.


  • 0

#3 albedo
albedo
    Topic Starter
  • Пользователь
  • 576 сообщений
  • Репутация: 80

Отправлено 26 Январь 2020 - 13:52


Allow: /engine/rss.php

спасибо, буду пробовать


  • 0

Что вообще в мире творится? Онлайн Новости





Похожие темы
  Название темы Автор Статистика Последнее сообщение

Пользователь месяца
Totti Totti 1-й за Январь
Очков активности: 3 937 6 тем, 87 сообщений, 25 баллов репутации
ТОП самых активных за этот месяц
  • Фотография Megoydagi
    #1

    Megoydagi (24ho.ru)
    Очков активности: 787.5 6 тем, 57 сообщений, 7 баллов репутации

  • Фотография NataliaAntalia
    #2

    NataliaAntalia (zdorovemedicina.ru)
    Очков активности: 162 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #3

    BLIK
    Очков активности: 126 Вне конкурса за определение пользователя месяца

  • Фотография Владислава Рыкова
    #4

    Владислава Рыкова
    Очков активности: 105 0 тем, 14 сообщений, 5 баллов репутации

  • Фотография Totti
    #5

    Totti
    Очков активности: 96 Вне конкурса за определение пользователя месяца

  • Фотография magnet
    #6

    magnet (rbfxdirect.com)
    Очков активности: 60 3 темы, 31 сообщение, 1 балл репутации

  • Фотография albedo
    #7

    albedo (online24news.ru)
    Очков активности: 34.5 1 тема, 20 сообщений, 1 балл репутации

  • Фотография TindrumGM
    #8

    TindrumGM (novosti-land.ru)
    Очков активности: 28.5 5 тем, 4 сообщения, 1 балл репутации

  • Фотография MattCutts
    #9

    MattCutts (dmitrylee.ru)
    Очков активности: 24 Вне конкурса за определение пользователя месяца

  • Фотография kolver
    #10

    kolver
    Очков активности: 21 2 темы, 8 сообщений, 1 балл репутации

  • Показать весь ТОП 10
Поддержите форум! =)
Апдейты
  • Яндекс ИКС: 28.02.2020
  • Яндекс выдача: 27.02.2020
Топ 5 участников по репутации

Оформление форума – IPBSkins.ru