Перейти к содержимому

Реферальная программа Мегаплана

Выбрать шаблон и создать сайт

Как избавиться от бота?

#1 MozClock

MozClock
  • Пользователь
  • 49 сообщений
  • Репутация: 3
0

Отправлено 09 Декабрь 2015 - 18:19

Проблема:

Ко мне на сайт заходит бот из США, под разными IP, на разные страницы и накручивает счётчики, посещая в среднем с десяток страниц.

Я-Метрикой и Гуглом определяется как "внутренний заход".

Пытаться блокировать по IP бесполезно - большой диапазон.

Пытаюсь по наименованию, но он почему то всё равно "пролазиет".

1) Может что -то не так делаю? 

2) Если совсем ничего не поделать, то может можно США заблокировать?

 

Вот пример захода бота из моих логов:

199.167.134.86 - - [09/Dec/2015:16:42:32 +0300] "GET /wa-data/public/shop/products/76/43/14376/images/12509/12509.970x0.jpg HTTP/1.1" 200 43182 "http://mosclock.ru/watch/casio/casio-ltp-1234l-1a/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)"

Вот кусок моего .htaccess, где его IP по началу вставляла : 

 

# Блокировка IP
Order Deny,Allow
Deny from 23.92.54.112
Deny from 162.248.100.80
Deny from 162.218.209.242
Deny from 162.248.96.154
Deny from 165.225.149.69
Deny from 173.255.139.183
Deny from 216.47.75.134
Deny from 216.47.75.135
Deny from 216.47.75.135

RewriteCond %{HTTP_USER_AGENT} "CLR" [OR]
RewriteCond %{HTTP_USER_AGENT} "50727" [OR]
RewriteCond %{HTTP_USER_AGENT} CLR [OR]
RewriteCond %{HTTP_USER_AGENT} "NET CLR 2.0.50727" [OR]

 

 

Сообщение отредактировал BLIK: 09 Декабрь 2015 - 18:22

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 09 Декабрь 2015 - 18:24

@MozClock,Можно блокировать сразу диапазон, например

Deny from 162.248.

Блокировать полностью США нельзя, пострадать может и ip Google и других поисковиков.


  • 0


#3 MozClock

MozClock
    Topic Starter
  • Пользователь
  • 49 сообщений
  • Репутация: 3

Отправлено 09 Декабрь 2015 - 18:46

Понятно.

Мне не совсем понятно вот это: "NET CLR 2.0.50727".


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 09 Декабрь 2015 - 18:55

Мне не совсем понятно вот это: "NET CLR 2.0.50727".
Стоит набрать в Google и видим 

 

Ну и становится понятно, что просто парсят магазин(я так думаю) 

 

Бороться с парсерами невозможно, а точнее тяжело.

 

Максимум можно помудрить с лимитами обращения к серверу с одного ip.


  • 1


#5 MozClock

MozClock
    Topic Starter
  • Пользователь
  • 49 сообщений
  • Репутация: 3

Отправлено 09 Декабрь 2015 - 19:18

Я тоже к этому выводу пришла.

Нашла программку даже "накручивалка банеров", где устанавливаются точь в точь такие же параметры как у этого бота. Можно менять не только IP

Перечень существенных возможностей:
  1. Незаметная маскировка вашего IP адреса псевдоадресами.
  2. Накрутка через Прокси и через SOCKS-Прокси.
  3. Имитация времени просмотра страниц вашего сайта.
  4. Детальная настройка накрутки для каждого счетчика в отдельности.
  5. Накрутка счетчиков одновременно и имитация параллельных посещений.
  6. Имитация популярных браузеров и мобильных телефонов.
  7. Обновление списков Прокси, SOCKS и др. в онлайн режиме. Редактирование этих списков.
  8. Подробное ведение статистики показов и кликов.
  9. Настройка расписаний для накрутки по дням недели и часам.
  10. Накрутка кодов баннеров в виде j-cкриптов и IFrame (реализовано не до конца).
  11. Имитация Java-функций и пр.
  12. Работа с "Cookies" и перехватывание редиректов.
 
НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками? А это тоже самое только с меньшей интенсивностью.
С лимитами тоже не вариант. Там заходы с абсолютно разных IP и при этом пока до 300 в день. Чуть блокирую и тут же новый IP.
 
И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так...

  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 3 170 сообщений
  • Репутация: 630

Отправлено 09 Декабрь 2015 - 19:37

НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками?

Что примерно в роли такого устанавливают

 

Но я не стал через него работать, нюансов много негативных.

 

И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так.

Я бы закрыл вход в админ по ip(своему)

 

Сканируют, или парсят или ищут уязвимости для плохих действий)) 


  • 1


#7 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 09 Декабрь 2015 - 19:45

@MozClock, @BLIK, у нас вроде @r0mZet "специализируется" на защитных сервисах сайта, правда он вроде как дня три не заходил, может "постучаться" ему в ЛС??? Вдруг откликнется и дельным советом поможет...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#8 MozClock

MozClock
    Topic Starter
  • Пользователь
  • 49 сообщений
  • Репутация: 3

Отправлено 09 Декабрь 2015 - 20:30

Всем спасибо, как то легче когда не в одиночку. А то техподдержка на хосте отфуболила и спросить то неукого).

Вот ещё рецептик выписала, только не знаю подойдёт ли мне. Много слов непонятных), а поговорить там не с кем :

 

баним примитивных самописных ботов, такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER, если оба условия верны - блокируем. Я это делаю средствами php, в самое начало скриптов (до вызова конфигов, подключений к базе и т.п. тяжелых процессов) вставляю код:
 
if ($_SERVER["HTTP_REFERER"] == '' AND $_SERVER["HTTP_USER_AGENT"] == '') {die('Bad bot');}
 
Пока лично мне не очень понятно куда эту строчку вставить. В Index , head где скрипты подгружаются?

  • 0

#9 r0mZet

r0mZet
  • Модератор
  • 961 сообщений
  • Репутация: 107

Отправлено 09 Декабрь 2015 - 20:47

Я считаю что проблемы так таковой нет. Не стоит поднимать панику раньше времени, вас же никто как я понял не взломал и 503 ошибки тоже нет. Блокировкой ботов не увлекайтесь, а то еще забаните  краулеров, и индексировать вас будет некому. Ваша наблюдательность вызывает уважение, но главное чтобы это не превратилось в паранойю


  • 1

#10 ShowPrint

ShowPrint
  • Пользователь PRO
  • 1 700 сообщений
  • Репутация: 405

Отправлено 09 Декабрь 2015 - 20:50

Судя по

Я это делаю средствами php, в самое начало скриптов
это надо прописать в index.php "чем выше - тем лучше"...

Работать должно даже если поставите вообще первой строкой... Правда поскольку не большой "спец", то 

такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER
подтвердить не могу...
  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


robot

robot
  • Пользователь PRO
  • 2 652 сообщений
  • Репутация: 85


Оформление форума – IPBSkins.ru