Помощник
|
Как закрыть парсинг для Screaming Frog в robots.txt или в .htaccess |
Olya23
|
Сообщение
#1
|
||
|
|
||
|
|||
agrx |
8.3.2019, 10:09;
Ответить: agrx
Сообщение
#2
|
|
Кому надо, тот обойдет и роботс, и юзерагент. Тем более, что эти функции в лягухе встроены.
|
|
|
Olya23
|
Сообщение
#3
|
|
agrx, на официальном сайте написано, что программа придерживается правил роботса.
я не пойму, куда поставить команду для юзер-агента, после команды для всех ботов и crawl-delay или нет |
|
|
agrx |
8.3.2019, 11:23;
Ответить: agrx
Сообщение
#4
|
|
|
[mention]OlgaGetman, если затык конкретно по юзерагенту, то образец можно стащить например отсюда:
[mwhide=5]https://jlady.ru/robots.txt[/mwhide]
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
Rebex.io – Ваша инновационная платформа для обмена криптовалюты! | 3 | Rebex | 903 | Сегодня, 20:50 автор: Rebex |
|
Посоветуйте массажер для спины и шеи | 10 | Boymaster | 887 | Сегодня, 18:02 автор: Boymaster |
|
Как в пушсетках покупают по 100-200 тысяч кликов за день? | 2 | Boymaster | 664 | Сегодня, 17:52 автор: Boymaster |
|
Если статья не в индексе Google - она уникальна или нет? | 6 | uahomka | 1573 | Сегодня, 15:37 автор: Arsenwenger |
|
Обучение Email Рассылкам + Софт Для Автоматизации (100к в сутки с сервера) | 10 | zennoboss | 4652 | Сегодня, 5:20 автор: Skyworker |
Текстовая версия | Сейчас: 24.4.2024, 22:13 |