Помощник
|
Robots.txt - что такое и как им правильно пользоваться |
mullins_mw
|
Сообщение
#1
|
||
|
|
||
|
|||
Sergey_on |
25.9.2013, 11:39;
Ответить: Sergey_on
Сообщение
#2
|
|
Важный момент: Если в robots.txt есть директивы для конкретного робота, то общая директива, типа: User-Agent * - не используется. Я правильно понял, то есть так делать нельзя: User-agent: * Disallow: /blog/ Sitemap: http://site-on.net/sitemap.xml User-agent: Yandex Disallow: /blog/ Host: site-on.net Crawl-delay: 0.1 ? Или Вы имели ввиду что-то другое? Если не затруднит, я бы почитал источник этой информации. Важный момент: мета теги могут не читаться поисковыми роботами. Или я не так понял, или это очень сомнительно. Какие именно мета-теги? Есть ссылка на источник? Предлагаю почитать мои статьи про правильный robots.txt и про то, как избавиться от дублей страниц без использования robots.txt и без ручного удаления через кабинет Гугл. Спасибо за внимание, удачи на конкурсе! |
|
|
Mast_mw |
25.9.2013, 13:42;
Ответить: Mast_mw
Сообщение
#3
|
|
? Или Вы имели ввиду что-то другое? Sergey_on, автор скорее всего имел ввиду, что если вы прописали User-agent: Yandex, то зайдя к вам на сайт, робот Яндекса в первую очередь обратиться именно к этой директиве, а не к User-agent: * . |
|
|
mullins_mw
|
Сообщение
#4
|
|
Информация по мета-тегам от Яндекса. И "Mast" - все правильно прокомментировал.
|
|
|
Sergey_on |
27.9.2013, 11:11;
Ответить: Sergey_on
Сообщение
#5
|
|
Информация по мета-тегам от Яндекса. Я имел ввиду ссылку на страницу сайта, где это написано Если речь идёт о мета-тегах типа viewport и autor, то это одно, но в данном контексте речь шла о мета-теге robots, и я сильно сомневаюсь, что Яндекс может его проигнорировать ("не читаться"). робот Яндекса в первую очередь обратиться именно к этой директиве, а не к User-agent: * . то общая директива, типа: User-Agent * - не используется "Не используется" и "в первую очередь обратиться" соверешенно разные понятия, если автор имел ввиду именно это, то стоило так и написать. У меня, например, нет под рукой ссылки на официальный источник по этому поводу, поэтому мне стала интересна данная гипотеза. К примеру, я видел множество сайтов, где в robots.txt есть директивы для конкретного робота и общая директива User-Agent * используются вместе, что-то типа такого: User-agent: * Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ Disallow: /price/ Sitemap: http://мой-сайт.рф/sitemap.xml User-agent: Yandex Disallow: /price/ Host: мой-сайт.рф И вот какой вопрос (к автору и ко всем читающим) мне стал интересен после прочтения данной темы: Яндекс проигнорирует или исполнит директивы, указанные для User-agent: *: Disallow: /administrator/ Disallow: /cache/ Disallow: /cli/ Disallow: /components/ Disallow: /includes/ Disallow: /language/ Disallow: /libraries/ Disallow: /logs/ Disallow: /media/ Disallow: /modules/ Disallow: /plugins/ Disallow: /templates/ Disallow: /tmp/ ? |
|
|
mullins_mw
|
Сообщение
#6
|
|
Вот что пишет Яндекс по этому поводу: "В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен".
Думаю этим все сказано. |
|
|
sosnovskij |
30.9.2013, 17:11;
Ответить: sosnovskij
Сообщение
#7
|
|
[member=mullins], да, действительно. Подтверждение здесь http://help.yandex.ru/webmaster/?id=996567 .
-------------------- |
|
|
MasterMarti |
1.10.2013, 2:12;
Ответить: MasterMarti
Сообщение
#8
|
|
Неплохой мануал.
Небольшие уточнения. 1. Яндекс поймет и просто Yandex. В примерах именно так и пишут. 2. Директива Sitemap также как и Hosts является "межсекционной". Например, Гугл, в справке говорит, что обработает эту директиву где-бы вы ее не расположили. https://support.google.com/webmasters/answer/183669?hl=ru Раньше и Яндекс в примерах предлагал ее указывать после секций. Но сейчас в примерах - под секцией Яндекса. Но проверка показала, что Яндекс захватывает как указанную карту в своей секции, так и общую. То есть, указать отдельные карты для разных ПС не представляется возможным. -------------------- http://www.maultalk.com/topic157753.html |
|
|
Rexxar |
9.10.2013, 15:16;
Ответить: Rexxar
Сообщение
#9
|
|
Sitemap и hosts все же указывайте перед дерективой User-agent:
|
|
|
mullins_mw
|
Сообщение
#10
|
|
Sitemap и hosts все же указывайте перед дерективой User-agent: Это зачем же???! |
|
|
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Как вы бросили работу и перешли на заработок с сайтов? | 7 | uahomka | 1567 | 17.3.2024, 14:54 автор: uahomka |
|
Арбитражники, как ведете учет расходов и доходов? | 10 | Boymaster | 1468 | 17.3.2024, 3:22 автор: malamut |
|
Во что сегодня инвестировать? Делимся своими приносящими прибыль вариантами |
64 | traveliver | 4135 | 15.3.2024, 17:26 автор: Lumex |
|
Как отозвать банковский платеж фрилансеру? | 26 | metvekot | 3656 | 15.3.2024, 10:42 автор: Skyworker |
|
Во что Вы играете? | 398 | Vmir | 67186 | 14.3.2024, 22:53 автор: MisterBit |
Текстовая версия | Сейчас: 19.3.2024, 12:38 |