Помощник
|
Редирект с отсеиванием юзер агентов без блокировки ip |
technokid_mw
|
Сообщение
#1
|
||
|
|
||
|
|||
ixman |
9.7.2016, 18:23;
Ответить: ixman
Сообщение
#2
|
|
technokid_mw, ну а как вычислить юзер-агенты ботов фейсбука, если они ходит под стандартными юзер-агентами популярных браузеров? Это я к примеру. Конечно же, тут разбираться надо, но юзер-агент ни в коем случае не является условием для отсеивания.
А так нужно разработать алгоритм отлавливания ботов по каким-то критериям. Думаю для этого нужно что-то из JS, чтобы анализировало на стороне клиента, и скидывало на сервер данные, где уже бы определяло бот это или человек. Ну и таким образом собирать базу IP ботов |
|
|
technokid_mw
|
Сообщение
#3
|
|
Ixman,
ботов я знаю но ip фейсбук все время меняет их все заблокировать нереально. сперва выхода не было прямые ссылки фб блокировал и блокировал лендинги со ссылками на партнерки если они в черном списке и редиректы затем я прописал в файле robots User-agent: * Disallow: / в файле .htaccess прописал RewriteCond %{HTTP_USER_AGENT} ^FacebookExternalHit [OR] RewriteCond %{HTTP_USER_AGENT} ^Facebook [OR] RewriteCond %{HTTP_USER_AGENT} ^Face RewriteRule ^(.*)$ http://%{REMOTE_ADDR}/$ [r=301,l] SetEnvIfNoCase User-Agent facebookexternalhit bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot - это продлило жизнь ссылок до бана на пару дней тк фб читал ссылки на партнерки в кнопках тогда я в кнопки стал вставлять белые ссылки ни о чем так сказать а при нажатии партнерку сделал чтобы открывалась с кликандера <script type="text/javascript"> var params = "menubar=yes,location=yes,resizable=yes,scrollbars=yes,status=yes" function PopShow3() { CookieTest=navigator.cookieEnabled; if(CookieTest) { ClickUndercookie = GetCookie('clickunder'); if (ClickUndercookie == null) { var ExpDate = new Date (); ExpDate.setTime(ExpDate.getTime() + (0 * 0 * 1 * 1000)); SetCookie('clickunder','1',ExpDate, "/"); window.open("ПАРТНЕРСКАЯ ССЫЛКА", "Google", params); window.focus(); } } } function GetCookie (name) { var arg = name + "="; var alen = arg.length; var clen = document.cookie.length; var i = 0; while (i < clen) { var j = i + alen; if (document.cookie.substring(i, j) == arg) return getCookieVal (j); i = document.cookie.indexOf(" ", i) + 1; if (i == 0) break; } return null; } function SetCookie (name, value) { var argv = SetCookie.arguments; var argc = SetCookie.arguments.length; var expires = (argc > 2) ? argv[2] : null; var path = (argc > 3) ? argv[3] : null; var domain = (argc > 4) ? argv[4] : null; var secure = (argc > 5) ? argv[5] : false; document.cookie = name + "=" + escape (value) + ((expires == null) ? "" : ("; expires=" + expires.toGMTString())) + ((path == null) ? "" : ("; path=" + path)) + ((domain == null) ? "" : ("; domain=" + domain)) + ((secure == true) ? "; secure" : ""); } document.onmouseup=PopShow3; </script> при такой системе по ссылке стала подтягиваться ошибка в фейсбуке вместо контента и лендинги банить перестал хотя люди идут и всё работает но хоть убей не пойму почему читает ссылки с кнопок и как это заблокировать и всё равно при том если настроить с сайта редирект банит ссылку слету тогда несмотря на то что вроде не читает содержимое у меня от борьбы с этой сетью мозги плавятся за 3 года :blink:
Сообщение отредактировал technokid - 9.7.2016, 19:21 |
|
|
ixman |
9.7.2016, 21:04;
Ответить: ixman
Сообщение
#4
|
|
|
А не может быть такого, что боты ходят под стандартными UA, так как знаю что поисковики используют для ботов шпионов. Ну а правило в robots.txt разве оно для FB указ? Это чисто для поисковиков, и то как рекомендация!
|
|
|
||
|
Похожие темы
Тема | Ответов | Автор | Просмотров | Последний ответ | |
---|---|---|---|---|---|
PROXY-STORE.COM — ipV4 прокси от 42р В МЕСЯЦ с ротацией и без! Лучшая цена на рынке. 200+ стран | 18 | proxystore | 4681 | Вчера, 20:00 автор: proxystore |
|
Скрипты и программы на заказ любой сложности. Без предоплаты. Быстро, качественно и недорого! | 4 | c4p1t4l15t | 2238 | 26.3.2024, 21:38 автор: c4p1t4l15t |
|
Сайт не индексируется в Google без добавления ссылок в адурилку | 4 | Nekit | 990 | 20.3.2024, 21:44 автор: MorKer |
|
JustProxy - Резидентые прокси без ограничения по трафику Residential rotating proxy |
16 | justproxy | 5641 | 20.3.2024, 14:57 автор: ManagerAE8888 |
|
Большие базы Semrush кейвордов по разным тематикам! Много кейвордов с трафиком и без конкуренции! Volume, KD, CPC | 20 | Krok | 6224 | 18.3.2024, 5:43 автор: Krok |
Текстовая версия | Сейчас: 29.3.2024, 6:17 |