Перейти к содержимому


Пользователь месяца
TimurR TimurR 1-й за Август
Очков активности: 726 3 темы, 35 сообщений, 11 баллов репутации
ТОП самых активных за этот месяц
  • Фотография ShowPrint
    #1

    ShowPrint (ShowPrint.ru)
    Очков активности: 207 2 темы, 17 сообщений, 6 баллов репутации

  • Фотография Ixman
    #2

    Ixman (o5cat.ru)
    Очков активности: 72 0 тем, 8 сообщений, 6 баллов репутации

  • Фотография WGN
    #3

    WGN (worldgamenews.com)
    Очков активности: 69 Вне конкурса за определение пользователя месяца

  • Фотография magnet
    #4

    magnet (rbfxdirect.com)
    Очков активности: 67.5 Вне конкурса за определение пользователя месяца

  • Фотография BLIK
    #5

    BLIK
    Очков активности: 30 Вне конкурса за определение пользователя месяца

  • Фотография Алексей111
    #6

    Алексей111
    Очков активности: 27 5 тем, 3 сообщения, 1 балл репутации

  • Фотография TimurR
    #7

    TimurR
    Очков активности: 22.5 Вне конкурса за определение пользователя месяца

  • Фотография torix
    #8

    torix
    Очков активности: 22.5 2 темы, 9 сообщений, 1 балл репутации

  • Фотография Developer
    #9

    Developer
    Очков активности: 21 1 тема, 11 сообщений, 1 балл репутации

  • Фотография fedornabilkin
    #10

    fedornabilkin (zaka4ano.ru)
    Очков активности: 18 0 тем, 4 сообщения, 3 балла репутации

  • Показать весь ТОП 10

Kwork.ru - услуги фрилансеров от 500 руб.

Поддержите форум! =)
Апдейты
  • Яндекс тИЦ: 19.11.2017
  • Яндекс выдача: 20.09.2018
Топ 5 участников по репутации


Как избавиться от бота?

#1 MozClock

MozClock
  • Неактивные
  • 49 сообщений
  • Репутация: 3
0

Отправлено 09 December 2015 - 18:19

Проблема:

Ко мне на сайт заходит бот из США, под разными IP, на разные страницы и накручивает счётчики, посещая в среднем с десяток страниц.

Я-Метрикой и Гуглом определяется как "внутренний заход".

Пытаться блокировать по IP бесполезно - большой диапазон.

Пытаюсь по наименованию, но он почему то всё равно "пролазиет".

1) Может что -то не так делаю? 

2) Если совсем ничего не поделать, то может можно США заблокировать?

 

Вот пример захода бота из моих логов:

199.167.134.86 - - [09/Dec/2015:16:42:32 +0300] "GET /wa-data/public/shop/products/76/43/14376/images/12509/12509.970x0.jpg HTTP/1.1" 200 43182 "http://mosclock.ru/watch/casio/casio-ltp-1234l-1a/" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; .NET CLR 2.0.50727)"

Вот кусок моего .htaccess, где его IP по началу вставляла : 

 

# Блокировка IP
Order Deny,Allow
Deny from 23.92.54.112
Deny from 162.248.100.80
Deny from 162.218.209.242
Deny from 162.248.96.154
Deny from 165.225.149.69
Deny from 173.255.139.183
Deny from 216.47.75.134
Deny from 216.47.75.135
Deny from 216.47.75.135
RewriteCond %{HTTP_USER_AGENT} "CLR" [OR]
RewriteCond %{HTTP_USER_AGENT} "50727" [OR]
RewriteCond %{HTTP_USER_AGENT} CLR [OR]
RewriteCond %{HTTP_USER_AGENT} "NET CLR 2.0.50727" [OR]

 

 

Сообщение отредактировал BLIK: 09 December 2015 - 18:22

  • 0

#2 BLIK

BLIK
  • Супермодератор
  • 4085 сообщений
  • Репутация: 919

Отправлено 09 December 2015 - 18:24

@MozClock,Можно блокировать сразу диапазон, например

Deny from 162.248.

Блокировать полностью США нельзя, пострадать может и ip Google и других поисковиков.


  • 0

Качественный хостинг   Тут может быть ваша ссылка?



#3 MozClock

MozClock
    Topic Starter
  • Неактивные
  • 49 сообщений
  • Репутация: 3

Отправлено 09 December 2015 - 18:46

Понятно.

Мне не совсем понятно вот это: "NET CLR 2.0.50727".


  • 0

#4 BLIK

BLIK
  • Супермодератор
  • 4085 сообщений
  • Репутация: 919

Отправлено 09 December 2015 - 18:55

Мне не совсем понятно вот это: "NET CLR 2.0.50727".
Стоит набрать в Google и видим 

 

Ну и становится понятно, что просто парсят магазин(я так думаю) 

 

Бороться с парсерами невозможно, а точнее тяжело.

 

Максимум можно помудрить с лимитами обращения к серверу с одного ip.


  • 1

Качественный хостинг   Тут может быть ваша ссылка?



#5 MozClock

MozClock
    Topic Starter
  • Неактивные
  • 49 сообщений
  • Репутация: 3

Отправлено 09 December 2015 - 19:18

Я тоже к этому выводу пришла.

Нашла программку даже "накручивалка банеров", где устанавливаются точь в точь такие же параметры как у этого бота. Можно менять не только IP

Перечень существенных возможностей:
  1. Незаметная маскировка вашего IP адреса псевдоадресами.
  2. Накрутка через Прокси и через SOCKS-Прокси.
  3. Имитация времени просмотра страниц вашего сайта.
  4. Детальная настройка накрутки для каждого счетчика в отдельности.
  5. Накрутка счетчиков одновременно и имитация параллельных посещений.
  6. Имитация популярных браузеров и мобильных телефонов.
  7. Обновление списков Прокси, SOCKS и др. в онлайн режиме. Редактирование этих списков.
  8. Подробное ведение статистики показов и кликов.
  9. Настройка расписаний для накрутки по дням недели и часам.
  10. Накрутка кодов баннеров в виде j-cкриптов и IFrame (реализовано не до конца).
  11. Имитация Java-функций и пр.
  12. Работа с "Cookies" и перехватывание редиректов.
 
НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками? А это тоже самое только с меньшей интенсивностью.
С лимитами тоже не вариант. Там заходы с абсолютно разных IP и при этом пока до 300 в день. Чуть блокирую и тут же новый IP.
 
И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так...

  • 0

#6 BLIK

BLIK
  • Супермодератор
  • 4085 сообщений
  • Репутация: 919

Отправлено 09 December 2015 - 19:37

НО КАК ТО ЛЮДИ БОРЮТСЯ С DOS -атаками?

Что примерно в роли такого устанавливают

 

Но я не стал через него работать, нюансов много негативных.

 

И зачем опять таки они сканируют? Ищут вход? Было бы там что-то суперценное, а то так.

Я бы закрыл вход в админ по ip(своему)

 

Сканируют, или парсят или ищут уязвимости для плохих действий)) 


  • 1

Качественный хостинг   Тут может быть ваша ссылка?



#7 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3013 сообщений
  • Репутация: 813

Отправлено 09 December 2015 - 19:45

@MozClock, @BLIK, у нас вроде @r0mZet "специализируется" на защитных сервисах сайта, правда он вроде как дня три не заходил, может "постучаться" ему в ЛС??? Вдруг откликнется и дельным советом поможет...


  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


#8 MozClock

MozClock
    Topic Starter
  • Неактивные
  • 49 сообщений
  • Репутация: 3

Отправлено 09 December 2015 - 20:30

Всем спасибо, как то легче когда не в одиночку. А то техподдержка на хосте отфуболила и спросить то неукого).

Вот ещё рецептик выписала, только не знаю подойдёт ли мне. Много слов непонятных), а поговорить там не с кем :

 

баним примитивных самописных ботов, такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER, если оба условия верны - блокируем. Я это делаю средствами php, в самое начало скриптов (до вызова конфигов, подключений к базе и т.п. тяжелых процессов) вставляю код:
 
if ($_SERVER["HTTP_REFERER"] == '' AND $_SERVER["HTTP_USER_AGENT"] == '') {die('Bad bot');}
 
Пока лично мне не очень понятно куда эту строчку вставить. В Index , head где скрипты подгружаются?

  • 0

#9 r0mZet

r0mZet
  • Модератор
  • 1231 сообщений
  • Репутация: 209

Отправлено 09 December 2015 - 20:47

Я считаю что проблемы так таковой нет. Не стоит поднимать панику раньше времени, вас же никто как я понял не взломал и 503 ошибки тоже нет. Блокировкой ботов не увлекайтесь, а то еще забаните  краулеров, и индексировать вас будет некому. Ваша наблюдательность вызывает уважение, но главное чтобы это не превратилось в паранойю


  • 1


#10 ShowPrint

ShowPrint
  • Пользователь PRO
  • 3013 сообщений
  • Репутация: 813

Отправлено 09 December 2015 - 20:50

Судя по

Я это делаю средствами php, в самое начало скриптов
это надо прописать в index.php "чем выше - тем лучше"...

Работать должно даже если поставите вообще первой строкой... Правда поскольку не большой "спец", то 

такие боты имеют отличие - у них ничего не написано в HTTP_USER_AGENT и HTTP_REFERER
подтвердить не могу...
  • 0
MasterWEBS: третий дом - моё хобби и увлечение... Второй дом: работа - не меньше 12 часов в день...
Первый дом - под охраной: "Осторожно - злая жена!" (дрессировалась долго и надёжно) /*ссылку не просите - не дам!*/


robot

robot
  • Пользователь PRO
  • 2652 сообщений
  • Репутация: 85


Похожие темы

  Название темы Автор Статистика Последнее сообщение

Оформление форума – IPBSkins.ru