[X] Помощник

[MosClock Topic Starter]

Проблема:
Ко мне на сайт заходит бот из США, под разными IP, на разные страницы и накручивает счётчики, посещая в среднем с десяток страниц.
Я-Метрикой и Гуглом определяется как "внутренний заход".
Пытаться блокировать по IP бесполезно - большой диапазон.
Пытаюсь по наименованию, но он почему то всё равно "пролазиет".
1) Может что -то не так делаю? 
2) Если совсем ничего не поделать, то может можно США заблокировать?

Вот пример захода бота из моих логов:

199.167.134.86 - - [09/Dec/2015:16:42:32 +0300] "GET /wa-data/public/shop/products/76/43/14376/images/12509/12509.970x0.jpg HTTP/1.1" 200 43182 "http://mosclock.ru/watch/casio/casio-ltp-1234l-1a/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)"

Вот кусок моего .htaccess, где его IP по началу вставляла : 

# Блокировка IP
Order Deny,Allow
Deny from 23.92.54.112
Deny from 162.248.100.80
Deny from 162.218.209.242
Deny from 162.248.96.154
Deny from 165.225.149.69
Deny from 173.255.139.183
Deny from 216.47.75.134
Deny from 216.47.75.135
Deny from 216.47.75.135

RewriteCond %{HTTP_USER_AGENT} "CLR" [OR]
RewriteCond %{HTTP_USER_AGENT} "50727" [OR]
RewriteCond %{HTTP_USER_AGENT} CLR [OR]
RewriteCond %{HTTP_USER_AGENT} "NET CLR 2.0.50727" [OR]

Сообщение отредактировал BLIK - 9.12.2015, 19:22

[BLIK]

MozClock,Можно блокировать сразу диапазон, например

Deny from 162.248.

Блокировать полностью США нельзя, пострадать может и ip Google и других поисковиков.

[MosClock Topic Starter]

Понятно.
Мне не совсем понятно вот это: "NET CLR 2.0.50727".

[BLIK]

Мне не совсем понятно вот это: "NET CLR 2.0.50727".

Стоит набрать в Google и видим 

Ну и становится понятно, что просто парсят магазин(я так думаю) 

Бороться с парсерами невозможно, а точнее тяжело.

Максимум можно помудрить с лимитами обращения к серверу с одного ip.

[MosClock Topic Starter]

Я тоже к этому выводу пришла.
Нашла программку даже "накручивалка банеров", где устанавливаются точь в точь такие же параметры как у этого бота. Можно менять не только IP

Перечень существенных возможностей:

  1. Незаметная маскировка вашего IP адреса псевдоадресами.

  2. Накрутка через Прокси и через SOCKS-Прокси.

  3. Имитация времени просмотра страниц вашего сайта.

  4. Детальная настройка накрутки для каждого счетчика в отдельности.

  5. Накрутка счетчиков одновременно и имитация параллельных посещений.

  6. Имитация популярных браузеров и мобильных телефонов.

  7. Обновление списков Прокси, SOCKS и др. в онлайн режиме. Редактирование этих списков.

  8. Подробное ведение статистики показов и кликов.

  9. Настройка расписаний для накрутки по дням недели и часам.

  10. Накрутка кодов баннеров в виде j-cкриптов и IFrame (реализовано не до конца).

  11. Имитация Java-функций и пр.

  12. Работа с "Cookies" и перехватывание редиректов.

 

НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками? А это тоже самое только с меньшей интенсивностью.

С лимитами тоже не вариант. Там заходы с абсолютно разных IP и при этом пока до 300 в день. Чуть блокирую и тут же новый IP.

 

И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так...

[BLIK]

НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками?

Что примерно в роли такого устанавливают
 

Развернуть/Свернуть

https://www.cloudflare.com/

Но я не стал через него работать, нюансов много негативных.

И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так.

Я бы закрыл вход в админ по ip(своему)

Сканируют, или парсят или ищут уязвимости для плохих действий)) 

[ShowPrint]

MozClock, BLIK_mw, у нас вроде r0mZet "специализируется" на защитных сервисах сайта, правда он вроде как дня три не заходил, может "постучаться" ему в ЛС??? Вдруг откликнется и дельным советом поможет...

[MosClock Topic Starter]

Всем спасибо, как то легче когда не в одиночку. А то техподдержка на хосте отфуболила и спросить то неукого).
Вот ещё рецептик выписала, только не знаю подойдёт ли мне. Много слов непонятных), а поговорить там не с кем :

баним примитивных самописных ботов, такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER, если оба условия верны - блокируем. Я это делаю средствами php, в самое начало скриптов (до вызова конфигов, подключений к базе и т.п. тяжелых процессов) вставляю код:

 

if ($_SERVER["HTTP_REFERER"] == '' AND $_SERVER["HTTP_USER_AGENT"] == '') {die('Bad bot');}

 

Пока лично мне не очень понятно куда эту строчку вставить. В Index , head где скрипты подгружаются?

[r0mZet]

Я считаю что проблемы так таковой нет. Не стоит поднимать панику раньше времени, вас же никто как я понял не взломал и 503 ошибки тоже нет. Блокировкой ботов не увлекайтесь, а то еще забаните  краулеров, и индексировать вас будет некому. Ваша наблюдательность вызывает уважение, но главное чтобы это не превратилось в паранойю

[ShowPrint]

Судя по

Я это делаю средствами php, в самое начало скриптов

это надо прописать в index.php "чем выше - тем лучше"...
Работать должно даже если поставите вообще первой строкой... Правда поскольку не большой "спец", то 

такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER

подтвердить не могу...